[发明专利]一种基于多头自注意力机制的深度神经网络推荐模型及方法

权利要求书

1.一种基于多头自注意力机制的深度神经网络推荐模型，其特征在于，包括行为数据预处理模块、会话划分模块、会话兴趣交互模块、会话兴趣激活模块和全连接模块；

所述行为数据预处理模块用于获取用户历史行为数据，并对历史数据进行预处理，得到用户行为序列和训练数据集；

所述会话划分模块用于对预处理后得到的用户行为序列在会话层面进行细粒度划分，将由时间顺序排序好的用户行为序列按照时间间隔阈值划分到不同会话中，每个会话内包含不同时间间隔的用户行为序列；

所述会话兴趣交互模块包括多头自注意力子层及通过残差连接构成的多头自注意力网络，通过提取当前行为与会话内其他行为在多个角度上的多维相关性，然后通过多头自注意力子层进行多层堆叠，构建多头自注意力网络，用于提取同一会话内行为间的关联关系；

所述会话兴趣激活模块采用双向长短期记忆结构，用于捕捉用户在会话与会话间的兴趣漂移演化，综合上下文提取兴趣演化特征；

所述全连接模块用于根据预处理得到用户行为序列和会话兴趣激活模块输出的兴趣演化特征进行预测，然后将预测结果进行TopN排序，取得分最高的商品推荐给用户。

2.如权利要求1所述的深度神经网络推荐模型，其特征在于，所述用户历史行为数据具体为从用户在浏览器、APP等埋点日志数据中提取出用户访问的行为序列信息，包括用户注册信息、商品信息、用户评价及访问时间戳。

3.如权利要求1所述的深度神经网络推荐模型，其特征在于，预处理的具体过程为：首先将用户历史行为数据集中按需取出商品编号、用户名称、评论编号等对应列的信息，对评分数据和商品数据按照商品编号关联起来；然后按照对应时间戳的先后顺序生成初始用户行为序列，并且对每个用户交互序列的长度进行的限制，得到用户行为序列；最后，构造模型训练所需的正负样本，其中，正样本即用户在评论数据集中参与评论的样本数据，即真实的用户行为序列，相反负样本则是该用户没有实际交互，而是模拟产生的样本数据，即认为构造的用户行为序列。

4.如权利要求3所述的深度神经网络推荐模型，其特征在于，所述正负样本数量保持在1:1，避免由于输入样本比例不均衡导致的整个模型损失向某一边偏倚的情况。

5.一种基于多头自注意力机制的深度神经网络推荐模型的推荐方法，其特征在于，包括以下步骤：

步骤1.获取用户行为数据，然后对用户行为数据进行预处理，得到用户行为序列，并构建推荐模型的输入样本集；

步骤2.对步骤1得到的用户行为序列在会话层面进行细粒度划分，按照时间间隔阈值将用户行为序列划分到不同会话中，然后对每个会话中的用户行为序列进行嵌入映射处理得到低维稠密特征向量Q_embedding，再添加会话间位置偏置，得到用户行为嵌入向量Q_{embedding_pos}；

步骤3.基于步骤2得到的用户行为嵌入向Q_{embedding_pos}计算得到单头注意力分布向量，然后将单头注意力分布向量进行拼接，得到与用户行为嵌入向量维度相同的多头自注意力分布向量MultiHead(Q,K,V)，再进行层次归一化和堆叠处理，得到同一会话中用户多维兴趣向量I_k；

步骤4.计算会话间用户兴趣演化特征H_t，同时对会话间用户兴趣演化特征H_t和步骤3得到的会话中的用户多维兴趣向量I_k进行分部激活，得到会话间用户兴趣演化特征全局表达式U^H和会话中多维兴趣向量的全局表达式U^I；

步骤5.将拼接的用户行为特征向量作为多个全连接层的输入，基于目标损失函数进行初步预测，然后增加辅助损失函数修正每个时间步的预测结果，最后将预测结果进行TopN排序，取得分最高的商品推荐给用户。