[发明专利]一种缓解数据稀疏性和商品冷启动的商品推荐模型

说明书

本发明公开了一种缓解数据稀疏性和商品冷启动的商品推荐模型，涉及兴趣挖掘技术领域，提出了CTR预估模型GEARec用于商品的个性化推荐。通过引入图嵌入技术，除了解决稀疏性和冷启动的问题，将预先训练好的Embedding输入到上层的深度神经网络，还可以加快网络的收敛速，进一步提升模型性能。GEARec模型由预训练的Embedding层、多头自注意力网络层、AUGRU和MLP构建而成。输入的用户行为序列的Embedding向量表示经过多头自注意力网络层和AUGRU后，将计算结果和其他Embedding进行拼接，输入到MLP中自动学习特征之间的非线性关系，最后输出用户购买候选商品的概率。

技术领域

本发明涉及兴趣挖掘技术领域，特别涉及一种缓解数据稀疏性和商品冷启动的商品推荐模型。

背景技术

在实际的电商购物场景中，通常来说用户的兴趣迁移非常快，通过多头自注意力网络能够有效提取商品间的依赖关系，但现有技术整体上还是基于用户所有购买历史的综合推荐，而不是预测下一次购买的推荐。因此我们还需要针对不同的候选商品来筛选影响力更大的用户历史行为序列。

在现有的商品推荐系统中经常会面临两种情况，用户只与很少的商品有过交互行为以及新上线的商品没有过用户行为，这种情况分别称之为稀疏性和冷启动问题。针对这两类问题，使用常规的推荐模型进行预测时表现并不是很好。因此针对此问题，本申请提出基于EGES技术、多头自注意力网络以及AUGRU结构，创建了一种新的推荐模型GEARec，从而解决数据稀疏性和用户商品冷启动问题。

发明内容

本发明的目的在于提供一种缓解数据稀疏性和商品冷启动的商品推荐模型，基于EGES技术、多头自注意力网络以及AUGRU结构，创建了一种新的推荐模型GEARec，从而解决数据稀疏性和用户商品冷启动问题。

本发明提供了一种缓解数据稀疏性和商品冷启动的商品推荐模型，包括：

Embedding预训练层：用于引入商品的各类属性，利用随机游走算法对商品的各类属性进行建模并获取到对应的Embedding向量，利用神经网络对各类Embedding向量的权重进行训练并融合，得到最终商品的Embedding；

多头自注意力网络层：将用户历史交互商品序列对应的特征向量和位置特征编码进行组合，作为多头自注意力网络层的输入，经过多头自注意力网络层线性变换后，输出经过编码的用户行为序列，并对用户行为序列内部隐含的商品间的依赖关系进行提取；

注意力权重AUGRU：根据提取出的依赖关系，引入注意力权重AUGRU结构，结合注意力得分对兴趣演化路径进行筛选；

多层神经网络MLP：将得到的兴趣演化结果和商品的Embedding进行拼接，输入到多层神经网络MLP中自动学习特征之间的非线性组合关系，最后输出用户购买目标商品的概率，根据概率判别是否向用户推荐该商品。

进一步地，商品的各类属性包括商品主分类、商品子分类以及商品品牌，通过加权平均的方法获取商品聚合后的Embedding向量公式，如下所示：

其中，表示商品v的第j类属性对应的Embedding，为相应的权重，用于保证每类辅助信息的权重都大于0。

进一步地，使用Skip-Gram神经网络模型对各类Embedding的权重进行训练，EGES的损失函数表示为：

其中，H_v,Z_u分别表示商品v和商品u的Embedding，σ为sigmoid激活函数。

进一步地，位置特征编码的维度和用户历史交互商品序列对应的特征向量保持一致，均为d_model，位置编码的特征向量E称为用户历史交互商品向量，且表示如下：