[发明专利]一种商品信息推荐方法、系统和存储介质

权利要求书

1.一种商品信息推荐方法，其特征在于，包括如下步骤：

S1：导入原始数据集，将所述原始数据集处理成知识图谱，通过知识图谱形式得到知识图谱数据集，并将所述知识图谱数据集划分为训练集和测试集；

S2：根据强化学习方法构建探索策略；

S3：基于图神经网络对所述知识图谱和所述探索策略构建策略网络定义目标商品，并计算目标商品的奖励函数和损失函数；

S4：通过损失函数和奖励函数分别计算出所述知识图谱数据集中各个数据的总损失值和累计奖励，再通过反向传播算法对所有数据的总损失值和累计奖励进行反向传播，得到商品推荐模型，并通过所述训练集对所述商品推荐模型进行训练；

S5：将所述测试集输入经训练后的商品推荐模型中，通过经训练后的商品推荐模型得到商品推荐结果；

所述步骤S1的过程包括：

S1.1：定义原始数据集O＝{(u,i)|u∈U,i∈I}，其中，U为用户集，I为商品集，(u,i)为用户u与商品i存在互动；

S1.2：定义知识图谱G＝{e,r}|，e为节点，r为节点间关系，其中{u,i}∈e,所述知识图谱包括用户集和商品集，将所述知识图谱以所述互动(u,i)为起点，寻找到中间节点e′，所述中间节点e′与节点i和节点j相连,所述中间节点e′为用户u选择节点i所对应商品的判断因素以及适合用户u的节点j所对应商品的判断因素；

所述步骤S2的过程具体包括：

S2.1：基于马尔可夫决策过程定义寻找目标节点的采样过程，所述采样过程的过程包括：所述目标节点为M＝{S,A,P,R}；其中，A＝{a}，A为探索动作a的集合，S＝{s}，S为状态s的集合，P为状态s的转移函数，R为奖励函数，采样器为f_S()，参数为θ_S；

S2.2:定义探索过程，所述定义探索过程的过程包括：在任一探索步骤t中，定义采样的动作a_t＝(e_t→e_t′→e_t+1),ɑ_t为两跳的路径，所述ɑ_t包括(e_t,e_t′)和(e_t′,e_t+1)两跳路径，所述路径在T次探索后，通过所述采样器生成2T跳的路径；定义探索策略π＝(e₁,e₂…e_T)，e_T为所述采样器最终选择的目标节点，并将所述目标节点e_T作为目标商品推荐给用户；

S2.3:定义探索状态，所述定义探索状态的过程包括：在任一探索步骤t中,所述采样器当前访问节点e_t，定义状态s_t＝(u,e_t)，探索步骤t为(s₀,a₁,s₁…a_t,s_t)，初始化状态s₀＝(u,i)为以所述互动(u,i)为起点开始探索的状态；

S2.4:定义探索动作，所述定义探索动作的过程包括：在任一探索步骤t中，所述节点e_t所有的探索动作a_t构成动作空间A_t；

S2.5:定义转移函数，所述定义转移函数的过程包括：在任一探索步骤t中，动作a_t由状态s_t转移到下一个状态时需要的转移函数为：

P(s_t+1＝(u,e_t+1)|s_t＝(u,e_t),a_t＝(e_t→e_t′→e_t+1))＝1，

从而构建得到探索策略；

所述步骤S3的过程包括：

S3.1：根据图神经网络中的GraphSage算法，在所述知识图谱G和用户商品图O⁺上生成节点的嵌入表示，在第l个图卷积层，节点e表示为节点e的邻居节点集合N_e表示为节点e聚合所述节点e邻居节点集N_e的信息并更新表示，其中，

其中，

其中，为所述节点e经过l次传播后的表示，所述为所述节点e经过第l-1次传播后的表示,W^(l)为权重矩阵，||为连接操作，ρ为LeakyReLU激活函数，为所述节点e经过第l-1次传播后的邻居集合表示；

每个零节点信息表示为经过L次传播后的节点表示为并将经过L次传播后的节点表示嵌入到知识表示中；

S3.2：经过所述GraphSage算法的节点表示为：

经过GCN的节点表示为：

S3.3：构建基于GraphSage算法的GCN策略网络，所述构建基于GraphSage算法的GCN策略网络包括：

通过GCN网络生成的节点表示为h_GCN，经过GraphSage生成节点表示为h_GraphSage，并经过dropout生成最终的节点表示h_out；其公式为：

h_out＝dropout(h_GraphSage)，

其中，h_GraphSage＝GraphSage(h_GCN)，

或构建基于GCN的GraphSage策略网络，所述构建基于GCN的GraphSage策略网络的过程包括：

将所述知识图谱数据集分别经过GraphSage算法和GCN生成的节点分别表示为所述h_GraphSage和所述h_GCN，并将两者相加后并通过GCN层生成表示h′_GCN，并经过dropout生成最终的节点表示h_out；其公式为：

h_out＝dropout(h′_GCN)，

其中，h′_GCN＝GCN(h_GraphSage+h_GCN)；

S3.4：定义探索步骤，所述定义探索步骤的过程包括：

在所述状态s_t＝(u,e_t)中,所述动作a_t＝(e_t→e_t′→e_t+1)包括两个环节，第一环节为(e_t,e_t′)，第二环节为(e_t′,e_t+1),所述动作a_t＝(e_t→e_t′→e_t+1)满足

P(a_t,s_t)＝P((e_t,e_t′)|s_t)·P((e_t′,e_t+1)|s_t,(e_t,e_t′))，

其中，P(a_t,s_t)为目标节点e_t+1的概率，

经过所述第一环节和所述第二环节的节点选择，最终得到目标节点；

S3.5：计算知识图谱节点的邻居节点注意力，所述计算知识图谱节点的邻居节点注意力的过程包括：

所述节点e_t的邻居节点e_t′重要性表示为：P(e_t,e_t′)为e_t′能获得注意力大小或选择概率；

利用softmax函数进行归一化处理：

所述节点e_t的某个所述邻居节点e_t′在所有邻居节点e_t″中能获得的注意力为：

S3.6：计算商品的邻居节点注意力，所述计算商品的邻居节点注意力的过程包括；

从所述节点e_t′邻居中选出目标节点e_t+1；选择所述目标节点e_t+1的概率为所述目标节点e_t+1在所述节点e_t′所有邻居e″_t+1中被选中的概率为

经过两次注意力的计算选出概率为P(a_t,s_t)的节点，将概率最高的目标节点e_t+1作为所述目标商品j推荐给所述用户u；

S3.7：邻居节点简化，所述邻居节点简化的过程包括：

所述节点e的邻居节点集N_e中随机采样n₁个节点构成集合使用评分函数匹配e和e′的相似度，选出排名靠前的n₂个节点构成集合用所述集合代替所述邻居节点集N_e，其中，n₂n₁；

S3.8：计算所述目标商品j的奖励函数，所述计算所述目标商品的奖励函数的过程包括：

R(j)＝gate*f_u(u,j)+(1-gate)*f_i(i,j)，

其中，f_u(u,j)＝r_u^Tr_j为所述用户u和所述节点j的匹配程度，f_i(i,j)＝r_i^Tr_j为所述节点j和所述商品i的相似度，gate＝sigmoid(Wf_i(i,j))为分配预测奖励与相似度奖励所占比重；

S3.9计算目标商品j的损失函数，所述计算目标商品j的损失函数的过程包括：

计算所述目标商品j的损失值为：

其中，为L2正则化项，σ为sigmoid函数；r_u为用户信息，r_i为历史商品信息，r_j为推荐商品信息。