[发明专利]一种基于多行为特征增强的注意力序列推荐方法

说明书

本发明公开了一种基于多行为特征增强的注意力序列推荐方法。本发明采用项目交互模式模块和自适应增强的注意力模块，对注意力图进行修正，使得注意力机制更关注符合用户行为规律的局部特征。项目交互模式模块有四种类型的项目交互模式，分别来增强注意力机制对用户行为序列的正反向行为不对称信息、瞬时性信息、连续性信息、非强顺序依赖性信息的感知能力。自适应增强的注意力模块主要有两种增强的结构，单通道结构可以更高效地增强注意力机制，双通道结构则具有更好的推荐性能。自适应增强的注意力模块采用可学习参数对机制可以对局部特征增强程序进行精准的阈值控制。本发明在花费极小的计算开销情况下，提高真实场景下行为序列推荐的准确率。

技术领域

本发明属于推荐技术领域，具体涉及一种基于多行为特征增强的注意力序列推荐方法。

背景技术

随着互联网的发展和普及，网络数据呈爆炸式增长，越来越多的信息充斥于网络，出现了严重的“信息过载问题”。人们在日常生活中面对海量复杂的互联网信息时，无法快速准确找到自己需要的信息，甚至无法理解和使用信息。推荐算法的目的就是在于帮助用户从海量的数据中挑选出用户可能感兴趣的目标数据，提高用户的体验感并创造商业价值。

早期的推荐方法更倾向于以静态的方式对用户-物品进行建模，得到用户的长期偏好。但，在现实推荐场景中，用户的行为是按时间顺序排列的。通常情况下用户的偏好是动态的，用户的当前兴趣受其近期历史行为的影响。随着对推荐方法问题研究的不断深入，人们开始使用序列推荐算法来对用户行为序列进行建模，来捕捉用户当前瞬时性的偏好。

给了更好地捕获用户行为序列这种顺序依赖关系，人们已经提出了很多基于传统方式、RNN、CNN的方法。但因为注意力机制(Attention，AT)能够捕捉输入序列中所有项的全局关系且具有良好的可解释性。因此，基于注意力机制的方法在序列推荐中得到了更为广泛的应用。例如：BERT4Rec方法采用基于双向变压器的自注意力模型来学习用户的历史行为序列上下文，从而进行下一项预测。然而，现有的注意力序列推荐方法基本搬用注意力机制，并没考虑到用户行为序列的特殊性和注意力机制局部信息捕捉。

发明内容

本发明要解决的技术问题是增强注意力机制对符合行为特征的局部相对信息的捕捉能力。具体需要解决传统注意力序列推荐模型中的正反向行为信息不对称，易忽略用户行为的瞬时性、连续性、非强顺序依赖性信息等问题。本发明提供一种基于多行为特征增强的注意力序列推荐方法，经过测试后，在花费极小的计算开销的情况下，能够有效地提高注意力模型对用户行为信息的感知能力，并且进一步提高推荐性能。

本发明采用的技术方案是：采用滑动窗口模块，来自定义项目交互模式(ItemInteraction Pattern),通过可学习参数将项目交互模式进一步转换为项目交互矩阵(Item Interaction Matrix)，然后采用自适应增强的注意力机制(Adaptive AugmentedAttention)来提取特征。自适应增强的注意力机制(Adaptive Augmented Attention)通过高效融入项目交互矩阵(Item Interaction Matrix)来对注意力图进行约束和修正，增强了注意力(Self-attention)机制对用户行为特征的感知能力，进而也提高了推荐的性能。

一种基于多行为特征增强的注意力序列推荐方法，步骤如下：

步骤1：选取合适的公共数据集进行数据预处理，获取用户的行为历史数据，然后对用户的行为历史数据序列中的行为按指定比例进行随机Mask；最后通过编码器将所有的行为id映射到行为隐空间，并加入位置嵌入得到隐藏层特征序列。

步骤2：通过滑动窗口机制定义符合用户行为规律的项目交互模式(ItemInteraction Pattern)。

步骤3：利用和为1的可学习参数对步骤2得到的项目交互模式(Item InteractionPattern)转换为项目交互矩阵(Item Interaction Matrix)。