[发明专利]一种基于多行为特征增强的注意力序列推荐方法

权利要求书

1.一种基于多行为特征增强的注意力序列推荐方法，其特征在于包括以下步骤：

步骤1：对选取的公共数据集进行数据预处理，获取用户的行为历史数据序列，然后对用户的行为历史数据序列中的行为按指定比例进行随机Mask；最后通过编码器将所有的行为id映射到行为隐空间，并加入位置嵌入得到隐藏层特征序列；

步骤2：通过滑动窗口机制构建符合用户行为规律的项目交互模式；

步骤3：利用和为1的可学习参数，将步骤2得到的项目交互模式转换为项目交互矩阵；

步骤4：利用步骤3得到的项目交互矩阵来构建自适应增强的注意力机制，包括单通道增强的注意力机制和双通道的注意力机制；

步骤5：根据步骤1中的公共数据集类型选择步骤4中的增强的注意力机制类型；具体地说：密集数据集选择单通道注意力机制；稀疏数据集选择双通道注意力机制；利用选定后的自适应增强的注意力机制对步骤1得到的隐藏层特征序列进行特征提取，得到隐藏层特征序列Ⅰ；

步骤6:利用若干层的传统变压器对隐藏层特征序列Ⅰ进行进一步的特征提取，得到隐藏层特征序列Ⅱ；根据行为历史数据序列中按指定比例进行随机Mask的部分行为对隐藏层特征序列Ⅱ进行筛选，到对应部分行为的隐藏层特征序列Ⅲ；

步骤7：将隐藏层特征序列Ⅲ输入至softmax函数，将交叉熵作为损失函数，并利用adam算法优化行为隐藏空间参数；

步骤8：重复步骤2至步骤7，直至步骤7得到的交叉熵损失函数不再减小，则循环结束。

2.根据权利要求1所述的一种基于多行为特征增强的注意力序列推荐方法，其特征在于步骤1获取用户的行为历史数据序列其中表示用户u在t时间的行为，n_u表示用户u的最长行为历史数据序列长度；然后对用户的行为历史数据序列中的行为按指定比例进行随机Mask；最后通过编码器将所有的行为id映射到行为隐空间，并加入位置嵌入得到隐藏特征输入序列其中E⁰表示第一层输入。

3.根据权利要求1或2所述的一种基于多行为特征增强的注意力序列推荐方法，其特征在于通过滑动窗口机制定义四种符合用户行为规律的项目交互模式；包括单向交互模式、短期交互模式、邻域交互模式、随机交互模式；四种交互模式的公式依次为：

4.根据权利要求3所述的一种基于多行为特征增强的注意力序列推荐方法，其特征在于将步骤2得到的项目交互模式转换为项目交互矩阵；α，β是可学习的而且和为1的参数对，项目交互模式转换为项目交互矩阵的具体原理，公式如下：

IIM＝α·IIP+β·(1-IIP)

α＝sigmiod(g)

α+β＝1

α,β∈[0,1]

其中，IIM是项目交互矩阵，g是一个可学习的参数，α，β为和为1，初始化为0.5的参数对；转换后的四种项目交互矩阵的公式如下：

IIM⁰是单向交互矩阵，IIM¹是短期交互矩阵，IIM²是邻域交互矩阵，IIM³是随机交互矩阵。

5.根据权利要求4所述的一种基于多行为特征增强的注意力序列推荐方法，其特征在于通过步骤3得到的项目交互矩阵来构建自适应增强的注意力机制；

单通道增强的注意力机制整体公式如下所示：

其中Q、K和V分别表示分块经过线性变换后得到的问题矩阵、键值矩阵和数值矩阵；d表示特征维度,A(Q,K,V)表示传统的注意力机制，A(Q,K,V)_aub表示自适应增强的注意力机制；

双通道增强的注意力机制整体公式如下所示：

其中，A(Q,K,V)_aub是项目交互模式矩阵增强的注意力机制，是反向项目交互模式矩阵增强的注意力机制；是特征融合函数，A(Q,K,V)_daub是双通道增强的注意力机制。