[发明专利]一种用户交互敏感的动态图序列推荐系统

权利要求书

1.一种用户交互敏感的动态图序列推荐系统，其特征在于：系统整体采用强化学习框架，数据输入为用户对商品带有时间戳的评分数据及用户自身的属性数据，系统的输出为连续多轮推荐产生的推荐商品序列，每一轮的推荐结果均为智能体在观察过经由动态图建模的系统环境后，基于动态图环境的状态表征、商品表征、用户对于商品的实时兴趣以及用户属性信息来做出最优推荐决策，系统的运算过程依次分为五个模块：数据预处理模块、序列图建模模块、动态环境建模模块、环境状态表征模块、智能体决策模块；

其中，所述序列图建模模块将数据预处理模块中生成的用户交互序列数据通过合并相同点的方式转化为一个h-hop全局序列图，近似还原商品之间的h-hop依赖关系和相似关系；

所述动态环境建模模块在序列图建模模块中生成的全局序列图上加入用户与所有商品之间的实时交互顺序信息作为图上顶点的属性信息，形成一个跟随用户交互和时间步而变化的动态图，以表示系统环境的实时状态；

所述环境状态表征模块使用基于偏好传播的图注意力神经网络模型在动态环境建模模块生成的动态图上学习用户对所有商品的实时兴趣，进而学习动态图环境的全局状态表征，更新系统环境状态，协助智能体的决策模型做出个性化推荐；

所述智能体决策模块将序列推荐建模为马尔科夫决策问题，基于动态图的环境表征及用户对商品的偏好表征计算长期奖励，并采用贪心策略选取下一步的动作，给用户推荐在当前状态下能够获得最大长期收益的商品作为最优推荐结果。

2.如权利要求1所述的一种用户交互敏感的动态图序列推荐系统，其特征在于：所述合并相同点的方式转化全局序列图的具体过程为：将所有的采样序列依照商品顺序拼接为一个有向的全局序列图G(V，E)，拼接的过程中合并相同的商品作为一个顶点，序列中的相邻商品在序列图上连接为边，边的权值取值于两个顶点所代表的商品出现在序列中的转移次数的归一化值，进而对序列图G(V，E)邻接矩阵N引入变换，为序列图上所有距离为h以内的顶点加一条短连接边，使得这些顶点可以通过该短连接边实现直连，即：

其中d(v_i，v_j)代表顶点v_i和顶点v_j之间在序列图上的最短距离。

3.如权利要求2所述的一种用户交互敏感的动态图序列推荐系统，其特征在于：所述引入用户实时交互顺序信息生成动态图的具体过程为：将用户与商品k发生交互的次序通过三角函数变换，生成位置编码向量信息，并作为该商品在图上对应顶点v_k的一个动态属性c_k：

其中S_t代表用户的历史交互商品序列。

4.如权利要求3所述的一种用户交互敏感的动态图序列推荐系统，其特征在于：所述基于偏好传播的动态图注意力神经网络模型的结构为：将用户对于商品的评分r分解：

r＝p^T·h

p∈R^d×1代表用户对用户-商品级偏好表征，h∈R^d×1代表用户对于不同评价维度的在意程度，用户对于商品k经过第1层图注意力网络之后的实时偏好记为则每层图注意力网络中用户-商品级偏好计算为：

其中所有的θ，b均为网络中可训练的参数矩阵，σ为激活函数，被初始化为零向量，三角函数位置编码c_k用来表示商品k被用户选择的次序；

采取引入膨胀聚合的方式或在图注意网络中引入短连接的方式用户对于商品的偏好信息难以传播到较远的顶点的问题；

在图神经网络后接一个全局平均池化层，计算用户对所有商品的偏好的平均向量，并将该向量作为当前系统环境状态的表征：

5.如权利要求4所述的一种用户交互敏感的动态图序列推荐系统，其特征在于：所述膨胀聚合的方式为将h-hop内的顶点均看作一个邻域，扩大聚合范围；所述在图注意网络中引入短连接的方式，在层与层之间加入残差连接，将浅层特征与深层特征相结合。