[发明专利]一种基于多头自注意力机制的深度神经网络推荐模型及方法

说明书

本发明的目的在于提供一种基于多头自注意力机制的深度神经网络推荐模型，属于推荐技术领域。该模型设计会话划分层引入会话内和会话间不同行为之间的顺序位置信息，在会话兴趣交互层通过多头自注意力网络挖掘用户在会话中各行为间的多维隐性关系，然后在会话兴趣激活层结合上下文关系捕捉会话间用户兴趣的演化规律进行分块激活，使得模型能够多维度分析深层次隐性特征，从而提升了推荐系统的准确率。

技术领域

本发明属于推荐技术领域，具体涉及一种基于多头自注意力机制的深度神经网络推荐模 型及方法。

背景技术

推荐算法是基于用于的历史行为和个人偏好等差异推测出用户可能喜欢的东西。传统推 荐算法以协同过滤模型为代表，最常见的两种推荐模型有基于物品的协同过滤算法和基于用 户的协同过滤算法。前者是通过计算物品之间隐向量的相似度并排序取TopN实现推荐，后 者是通过用户的历史评价提取用户隐性特征并对特征相似度排序取TopN实现推荐。上述两 种方法通过提取静态特征的方式简单易实现，只需要关注用户的历史行为提取隐性特征并按 照相似度排序即可，但是忽略了隐性特征之间的高维交叉组合和用户行为时间序列这一重要 维度的影响。

深度学习模型逐步在推荐领域得到应用，深度神经网络推荐模型通过输入特征之间的高 维组合可以拟合高阶的非线性关系。但是直接使用DNN(Shan Y,Hoens T R,JiaoJ,et al.Deep crossing:web-scale modeling without manually craftedcombinatorial features[C].In Proceedings of the 2 2nd ACM SIGKDDInternational Conference on Knowledge Discovery and Data Mining(KDD),2016:255-262.)提取用户兴趣注定无法对时间序列上的变化进行相关建模，因为用户序列某一时刻的 行为注定不只与当前时刻的行为有关，还与之前的行为有所关联。除此之外，现有深度神经 网络推荐模型还面临以下问题：第一，表示用户的兴趣特征维度受限，不同用户行为序列提 取的用户特征维度相同导致无法个性化表征用户兴趣特征的多样性；第二，忽略了用户与物 品广告之间的关系，对于不用推荐候选广告用户的兴趣使用同一特征向量来表示，显然限制 了模型的表达能力；第三，忽略了用户兴趣的变化，通过用户行为序列提取出的特征应该有 一个兴趣进化的过程来呈现一种连续的变迁趋势。

因此，如何设计深度神经网络推荐模型，使得模型能够多维提取用户兴趣特征，从而完 成更准确的推荐结果，就成为研究重点。

发明内容

针对背景技术所存在现有多数会话型推荐算法没有充分考虑多个不同空间下的其他维度 的隐性特征，对个性化用户兴趣分析维度受限的问题，本发明的目的在于提供一种基于多头 自注意力机制的深度神经网络推荐模型(Multi-head Self-attention DeepNeural Network for Session-based Recommendation Model，MSDN)及方法。该模型设计会话划分层引入会话内 和会话间不同行为之间的顺序位置信息，在会话兴趣交互层通过多头自注意力网络挖掘用户 在会话中各行为间的多维隐性关系，然后在会话兴趣激活层结合上下文关系捕捉会话间用户 兴趣的演化规律进行分块激活，使得模型能够多维度分析深层次隐性特征，从而提升了推荐 系统的准确率。

为实现上述目的，本发明的技术方案如下：

一种基于多头自注意力机制的深度神经网络推荐模型，包括行为数据预处理模块、会话 划分模块、会话兴趣交互模块、会话兴趣激活模块、全连接模块；

所述行为数据预处理模块用于获取用户历史行为数据，并对历史数据进行预处理，得到 用户行为序列和训练数据集；

所述会话划分模块用于对预处理后得到的用户行为序列在会话层面进行细粒度划分，将 由时间顺序排序好的用户行为序列按照时间间隔阈值划分到不同会话中，每个会话内包含不 同时间间隔的用户行为序列；