[发明专利]一种基于变分自注意力网络的序列推荐方法

说明书

本申请公开了一种基于变分自注意力网络的序列推荐方法，该方法将变分自编码器引入自注意力网络以捕获用户的潜在偏好，一方面通过变分推断将获得的自注意力向量表示为密度，其方差可以很好地表征用户偏好的不确定性，另一方面采用自注意力网络来学习变分自编码器的推理过程和生成过程，使其可以很好地捕获长期和短期依赖，能够更好捕获用户偏好的不确定性和动态性，提升了推荐结果的准确性。此外，本申请还提供了一种基于变分自注意力网络的序列推荐装置及设备，其技术效果与上述方法的技术效果相对应。

技术领域

本申请涉及计算机技术领域，特别涉及一种基于变分自注意力网络的序列推荐方法、装置及设备。

背景技术

在信息爆炸的时代，推荐系统发挥着越来越重要的作用。推荐系统的关键在于能够准确地描述用户的兴趣和偏好，然而这些兴趣和偏好总是自然而然地变化且充满不确定性。序列推荐试图捕捉用户的动态偏好，目前序列推荐已经成为学术界和工业界中极具吸引力的话题。

在相关文献中，研究者已经提出了多种方法来根据用户的历史交互序列预测用户可能喜欢的下一个项目。FPMC是一种经典方法，该方法将马尔可夫链和矩阵因子分解模型线性地结合起来，以捕获用户偏好。但是，由于该方法中不同组件的权重线性固定，因此不足以对高级交互进行建模。受深度学习的启发，很多人对循环神经网络(RNN)进行了深入研究，并在序列推荐中取得了成功。但是，这些基于RNN的模型，即使具有高级存储单元结构，例如长短期记忆(LSTM)和门控循环单元(GRU)，也由于梯度消失问题而难以维持长期依赖关系。例如，Khandelwal等人展示了使用LSTM的语言模型平均可以应用大约200个上下文标记，但是，只能清晰地区分50个附近的标记，这表明即使是LSTM也难以捕获长期依赖关系。此外，RNN的序列性质使得它需要学习逐步传递有用的信息，这使得并行化具有挑战性。

近年来，自注意力网络(SAN)已经在许多自然语言处理(NLP)任务中得到了很好的应用，例如机器翻译，情感分析和问题解答等。与传统RNN和卷积神经网络(CNN)相比，SAN在序列推荐中也显示出良好的性能和效率。例如，Kang等人提出了一种自注意力序列推荐(SASRec)模型来捕获序列中项目的长期和局部依赖性，它们以前通常是由RNN和CNN建模的。与基于RNN的模型不同，SASRec可以很好地捕获长期依赖关系，因为它可以访问历史记录的任何部分而与距离无关。但是，以上所有模型均采用确定性方法来建模用户的序列行为，这种确定性方法通常将用户的偏好视为固定点向量，因此不能在没有误差项约束的情况下表征用户偏好的不确定性。

图1为确定性推荐方法的示意图，图1中，u为用户表示，i₁，i₂，i₃，i₄均为项目表示，虚线椭圆表示用户u的潜在偏好，其中，i₁，i₂，i₃类别互不相同，i₁，i₄类别相同。如图1所示，假设用户u与一个序列的项目i₁和i₂进行了交互，当使用确定性方法学习用户的偏好时，u可能位于潜在特征空间(2D映射)中i₁和i₂的中间。如果根据u和候选项目之间的距离进行推荐，则可能向用户u推荐项目i₃，而不是真实项目i₄(类别与i₁相同)，因为u和i₃之间的距离较小。因此，固定点表示无法捕获不确定性，并容易导致不正确的推荐结果。

综上，目前的序列推荐方案将潜在用户的偏好表示为潜在特征空间中的固定点，而固定点向量缺乏捕获推荐系统中普遍存在的用户偏好的不确定性和动态性的能力，在捕获用户潜在偏好方面存在较大局限性，导致推荐结果不准确。

发明内容

本申请的目的是提供一种基于变分自注意力网络的序列推荐方法、装置及设备，用以解决目前的序列推荐方案无法捕获用户偏好的不确定性和动态性，导致推荐结果不准确的问题。其具体方案如下：