[发明专利]一种基于多任务学习的序列化推荐方法

权利要求书

1.一种基于多任务学习的序列化推荐方法，其特征在于，包括以下步骤：

S1、计算用户的意图向量表征信息，并与用户上下文信息、用户画像信息的Embedding进行特征拼接输入至双塔模型的用户侧，获取物品Embedding矩阵并输入至双塔模型的物品侧，通过双塔模型生成初步的物品推荐列表；

S2、采用基于卷积神经网络CNN和长短期记忆网络LSTM捕捉用户历史行为轨迹，并利用注意力机制从用户历史行为轨迹中捕捉与当前意图最相关的信息，结合步骤S1中获取的初步的物品推荐列表中的物品信息，通过滑动推理计算生成细粒度的有序推荐列表；

S3、以细粒度的有序推荐列表作为输入，通过预训练的多任务学习神经网络模型调整序列的全局有序性，生成最终的推荐列表；

步骤S3中，多任务学习神经网络模型利用Transformer算法对序列信息进行建模，并通过构建额外的辅助任务来学习序列的有序性，其训练过程包括：

S31、对推荐列表中的各物品的特征进行Embedding处理：

E_input＝Embedding(X_input)

其中，X_input＝[i₁,i₂,i₃,i₄,...,i_N]，i_N为推荐列表中的第N个物品的特征，依次输入序列直到长度L；

E_input为物品序列Embedding向量；

S32、对物品序列Embedding向量E_input通过Transformer模型计算点击率任务：

首先，将E_input复制为Q，K，V三个相同的向量，然后分别通过h个不同的线性变换，公式为：

其中分别为三个随机初始化的权重矩阵；d为物品对应的表征向量的维度，R为实数域；

接着，通过多头注意力机制进行处理：

Attention_op＝Multi_Head(Q,K,V)＝Concat(head₁,...,head_h)·W^o

其中W^o∈R^h×d×d为随机初始化的权重矩阵，d为Embedding向量的维度；

然后，通过两层前向网络计算获得序列中各物品的最终表征：

Final_op＝LayerNorm(Attention_op)+Attention_op

Final_op＝LayerNorm(Final_op)+Final_op

其中LayerNorm是归一化函数，计算如下：

其中，μ是向量均值，σ是向量方差，∈是扰动值，取e^-6；

接着，对序列中各物品的最终表征进行拼接，获得物品表征拼接向量：

E_{concat_goods}＝Concat(Final_op₁,Final_op₂,...,Final_op_N)

最后，将物品表征拼接向量输入多层神经网络中进行计算，获得序列中的物品的用户兴趣排序：

output_layer₁＝σ(W₁E_{concat_goods}+b₁)

output_layer₂＝σ(W₂output_layer₁+b₂)

其中，W₁为第一层神经网络的权重，b₁为其偏置，W₂为第二层神经网络的权重，b₂为其偏置，σ(·)为激活函数，采用sigmoid函数；

并且同时使用交叉熵作为此过程的损失函数，即：

CTR_Loss＝-log(output_layer₂)

S33、通过IOP任务(Inner Order Prediction)作为辅助任务对步骤S32中的序列中的物品的点击率排序进行重排序：

首先，对基于NegativeSampling(负采样)得到的无序流程进行Embedding处理：

然后，对各个E_input进行拼接，获得正向序列的Embedding表征，并对各个进行拼接，获得负向序列的Embedding表征：

接着，通过一个单层共享权重的神经网络来得到正向序列和负向序列的最终表征：

output_layer₊＝σ(W_iopE_{concat_input}+b_iop)

W_iop是IOP任务中神经网络的权重矩阵，b_iop是IOP任务中神经网络的偏置向量，σ是神经网络的激活函数；

然后计算交叉熵作为损失函数：

IOP_Loss＝-(log(output_layer₊)+log(1-output_layer_-))

S34、计算训练过程的最终损失函数：

将点击率任务的损失函数CTR_Loss与IOP任务的损失函数IOP_Loss相加即得到最终的损失函数：

Final_Loss＝CTR_Loss+IOP_Loss

S35、采用Adam算法作为优化算法，基于步骤S34中计算的最终损失函数对步骤S31-步骤S34进行迭代，直至模型收敛，获得训练好的多任务学习神经网络模型。