[发明专利]基于双重注意力机制的文本推荐系统

说明书

本发明公开一种基于双重注意力机制的文本推荐系统。本发明首先获取用户评论数据，将数据预处理之后输入到双重注意力神经网络中进行训练，之后使用此模型对用户对某个物品的评分进行预测。包括以下步骤：S1：获取用户评论数据；S2：对获取到的数据进行预处理，使其满足网络训练的需要，包括缺失值填充、异常值剔除以及构建一个用户/物品‑评论的哈希表；S3：将评论文本信息输入到句向量工具中，得到评论的向量化形式；划分训练集、验证集、测试集；S4：初始化神经网络的各种超参数，将预处理后的训练集数据输入到网络中进行训练直至收敛；S5：在验证集数据上调整网络的各种超参数；然后在预处理后的测试集上进行预测，评估模型的性能表现。

技术领域

本发明涉及到一种基于双重注意力机制的文本推荐系统，属于推荐系统领域。

背景技术

评论数据相比于评分数据更能展现用户对商品的喜好程度，同时相较于单个的数字评分，具体的文字能让其他用户更好地了解某个物品的属性。而现在许多优秀的推荐模型大多都使用的是协同过滤的方法来预测用户对某个物品的喜好程度，通过将评分矩阵进行分解，得到用户与物品的特征向量，再将这两个向量的点乘结果作为预测评分。虽然基于矩阵分解的推荐模型已取得了不错的性能表现。但是受限于点乘操作，无法拟合特征之间的非线性关系以及无法加入其他相关信息，而且具有较低的可解释性。

而引入了评论文本的模型能够有效解决这些弊端，使模型更有效地理解用户的偏好:在一条评论中可以抽取出用户的情感倾向、用户的喜好以及物品的一些特征，并且具有较好的可解释性。但是用户的评论具有随意性，即一个用户他的每条评论对模型的贡献是不同的。详细而贴近主题的评论应该被赋予更大的权重。而且评论之间存在着某种联系，一条评论可能会受到前一条评论的影响，同时也会影响其他评论。

目前已经有许多研究致力于解决上述问题：ConvMF是最早将卷积神经网络引入到评论推荐系统中的工作。ConvMF的主要思路是将卷积神经网络与概率矩阵分解结合起来，使用网络学习到的物品的特征作为物品特征向量的均值，从而进行推荐；Zheng等人提出的DeepCoNN完全使用了深度学习的方法对评论进行建模，使用了两个平行的卷积神经网络分别对用户物品评论进行特征提取，再将得到的特征输入到因子分解机中预测评分；Seo等人提出的D-Attn是首次将注意力机制引入到文本推荐系统中的模型，同样使用两个平行的卷积网络进行特征提取，采用局部注意力机制和全局注意力机制对评论文本进行分析，找出对用户和物品更重要的词，进而提高推荐效果和推荐的可解释性；Chen C等人提出的，通过卷积神经网络提取到每条评论的表达，然后通过注意力网络计算出每条评论的权重，再将得到的特征输入到因子分解机中预测评分；Lu Y等人提出的TARMF在思路上与NARRE相近，方法上与ConvMF类似，引入了概率模型，通过序列化神经网络提取特征，在计算出评论的权重后，得到用户或者物品的表达，与概率矩阵分解后的用户物品特征向量做比较，从而获得推荐结果。虽然上述研究已经能在某些数据集上取得不错的效果，但是都未能将评论之间的关系的信息融入到模型学习中，这会影响到最终的模型性能表现。

发明内容

本发明为了应对上述模型存在的缺陷，提出了一种基于双重注意力机制的推荐算法：首先将所有评论映射成向量形式，再通过一个局部注意力网络将其编码为一个含有所有评论表示的矩阵，接着再通过一个全局注意力网络将这个矩阵编码为一个用户向量，与自编码器得到的用户向量相加，得到最终的用户特征表示；同理可以获得物品的特征表示，将这两个向量相加输入到预测网络之中得到最终的预测评分。具体技术方案如下：

基于双重注意力机制的评论推荐系统的特征在于包括以下步骤：

步骤1：获取用户和物品的评论文本、评分信息；

步骤2：对上一步骤获取到的数据进行预处理，使其满足网络训练的需要，包括缺失值填充、异常值剔除以及构建一个用户/物品-评论的哈希表；

步骤3：将评论文本信息输入到句向量工具中，得到评论的向量化形式；划分训练集、验证集、测试集；