[发明专利]一种基于卷积神经网络与联合注意力机制的信息推荐方法

说明书

本发明涉及一种基于卷积神经网络与联合注意力机制的信息推荐方法，用于有效的利用文本的潜在语义信息，解决传统机器学习的特征提取方法的固有缺陷。本发明将CNN深度神经网络处理的评价文本的特征向量再进行一层注意力机制的处理，增加评价文本中的重点关注点的注意力权重。将用户、项目的向量集合分别和上一层注意力机制的分值再使用一层注意力机制，分别得到用户和项目的注意力机制权重向量，再分别和用户、项目的向量集合进行点乘得到最终表示，合并用户、项目和评价文本得到最终表示，进而进行评分预测。通过与传统的推荐技术进行对比发现，本方法能够更有效地进行推荐，提高了推荐的质量，增强了推荐的可解释性。

1.技术领域

本发明涉及基于深度学习的文本特征提取和联合注意力机制推荐方法，属于信息推荐领域。

2.背景技术

信息推荐的主要任务是根据用户的行为记录进行推荐，发现最适合的项目并且推荐给用户，通过分析用户的历史行为，对用户的兴趣进行建模，主动给用户推荐能够满足用户兴趣和需求的信息。推荐系统是个交叉学科，包括机器学习(Machine Learning)、数据挖掘(Data Mining)、信息检索(Information Retrieval)和人机交互(Human-ComputerInteraction) 等领域。

深度学习技术已经在图像处理、自然语言处理和语音识别等领域有了重大的突破，是近年来人工智能研究的热潮。相对于传统的协同过滤、基于内容和混合的推荐算法，深度学习的推荐技术在处理文本内容、特征提取、获取用户与项目的深层特征表示都有很大优势。根据深度学习在处理自然语言方面的优势，能够更好的处理推荐系统使用原始评价文本数据的需求。在借鉴传统的推荐技术同时，如何弥补现有技术的不足，提高基于深度学习推荐技术的准确率，是目前工业界和学术界研究的重点。

已有的推荐算法主要包括协同过滤(Collaborative Filtering，CF)、基于内容的推荐算法、基于上下文的推荐算法和混合的推荐算法等。协同过滤算法通过用户对历史行为数据的挖掘，发现用户偏好，并基于不同的偏好对用户进行群组划分，推荐相似物品。基于内容的推荐算法利用物品的描述属性来做出推荐，“内容”是对物品的描述，该方法中，用户的评分和购买行为与物品中可以获得的内容信息相结合，并且该方法在推荐新物品时有一定优势。基于上下文的推荐算法是利用额外的辅助信息上下文(Context)来定制其推荐，这些上下文信息包括时间、位置和社交数据等。混合的推荐算法灵活使用不同类型的推荐算法来完成推荐任务，可以是不同类型的相互结合来达到最好的推荐效果，同时该类算法可以将同一类型的多个模型相互结合，从而提高推荐算法的有效性。

上述的几种算法都没有有效的利用文本的潜在语义信息，而传统的机器学习的特征提取的方法存在一些固有的缺陷。

发明内容

为了弥补这些方法的不足，本发明在有效利用文本信息的基础上引入深度学习Attention注意力机制，对文本的潜在语义信息进行学习，并结合用户和项目特征进行推荐。

为了获取基于文本的上下文信息，本发明提出利用卷积神经网络(ConvolutionalNeural Network,CNN)对用户和项目属性进行提取，CNN具有提取复杂特征的优势。再结合用户和项目的特征嵌入，优化模型做出更好的推荐。基于CNN实现评价文本的特征提取，如图1所示将用户对项目的评价文本输入，通过词向量嵌入模型对评价文本进行一步处理，接着将处理的评价文本依次传入CNN神经网络中的卷积层、池化层和全连接层，从而得到评价文本映射的特征向量。