[发明专利]一种融合图卷积与翻译模型的知识图谱联合表示学习方法

权利要求书

1.一种融合图卷积与翻译模型的知识图谱联合表示学习方法，其特征在于，所述方法包括以下步骤：

1)构建知识图谱邻接矩阵

在知识图谱中，根据节点之间的链接关系定义两种邻接关系：

定义1：在知识图谱中，存在直接链接关系的一对节点互为直接邻接点，此时两个节点间的距离为1，又称为1跳邻接点；

定义2：在知识图谱中，存在通路的一对节点称为间接邻接点，此时两个节点间的距离为n，n＞1，又称为n跳邻接点；

假设一个知识图谱的节点数量为N，构建其直接邻接矩阵：

其中若两个节点为直接邻接点，则直接邻接矩阵A中对应位置的值为1，否则为0；

同时，构建该知识图谱的间接邻接矩阵：

其中若两个节点互为间接邻接点，则间接邻接矩阵A’中对应位置的值为1，否则为0；

2)基于图卷积学习知识图谱的结构信息，过程如下：

2.1)学习实体向量表示

设计图卷积网络，包括一个输入层和两个隐藏层，每个隐藏层同时学习直接邻接点和间接邻接点的信息，以第二个隐藏层的输出作为实体的向量表示，利用该图卷积网络学习知识图谱的多跳结构信息；

图卷积网络的输入是A和A′，对直接邻接点和间接邻接点分别设置不同的权重，实体i在第l层的向量表示为

其中，N_i，1表示节点i∈E的直接邻接点集合，N_i，2表示节点i∈E的间接邻接点集合，分别是直接邻接点和间接邻接点在第l层的权重矩阵，σ₁表示的是激活函数；μ₁是一个权重系数，用于对直接邻接点和间接邻接点的影响力进行平衡；表示的是节点i与其邻接点j之间的注意力权重；

2.2)学习邻接点的注意力系数

在图卷积网络中引入注意力机制，通过对实体的影响力进行控制，对于越重要的邻接点其值越大，计算公式为：

其中是注意力系数，反映了在第l层中节点i和节点j之间的相关性；softmax函数归一化注意力系数将所有系数权重之和设置为1，并更加突出重要元素的权重；

公式(2)中的注意力系数的计算公式如下：

其中sim(·，·)是相似度的函数，用于比较节点i和节点j在经过一次线性变换之后的向量表示的相似度；W₁和W₂分别作为中心实体和其邻接点的线性变换矩阵，以表征相邻接点之间的差异；

3)基于翻译模型学习知识图谱的关系语义

采用翻译模型TransE学习知识图谱的关系语义，将关系看作是头实体到尾实体的翻译过程；

3.1)生成负样本

为增强TransE模型的表征能力，使用负采样强化训练效果，负三元组通过随机负采样的方式生成，对于每一条正三元组(h，r，t)∈T⁺，分别使用错误头实体h′或错误尾实体t′等概率的替换h或者t来生成负三元组集合T^-；其中h′，t′是分别从知识图谱的所有头实体集合和尾实体集合中随机采样得到的；在生成负三元组之后会对该三元组进行验证，倘若随机生成的三元组是正样本的，即(h′，r，t′)∈T⁺，则重新随机生成负三元组；

3.2)最小化损失函数

为了强化正三元组在向量空间中的位置，拉开负三元组内实体之间的距离，设计以下基于边缘的排名损失函数：

其中T⁺表示正三元组的集合，T^-表示负三元组集合；[·]₊＝max(·，0)，γ₁＞0是一个边缘超参数，μ₂＞0是一个用于平衡负样本损失和正样本损失的权重系数；是在TransE中提出的一个三元组的得分函数，用于测量一条三元组的误差量，其定义如下：

其中，||·||₂表示两个向量的L₂范数；

通过随机梯度下降法最小化损失函数的值；

4)联合表示学习算法

通过图卷积网络和翻译模型对知识图谱的结构特征和关系语义迭代地进行学习，得到知识图谱的向量表示；

联合表示学习算法的输入为知识图谱的三元组、邻接矩阵，联合表示学习算法的输出为知识图谱的向量表示，联合表示学习算法的过程如下：

4.1)将实体和关系的嵌入随机初始化；

4.2)在每个隐藏层中，通过公式(2)学习实体之间的注意力系数，然后利用公式(1)分别学习直接邻接点和间接邻接点的结构信息，并以设定的权重相互融合作为该实体在下一层的向量表示，图卷积模型的最后一层作为图卷积模型的输出，作为实体的向量表示结果；

4.3)以步骤4.2)的输出作为翻译模型TransE的实体的初始向量表示，通过最小化公式(4)的损失值来对实体间的关系语义进行学习，从而得到新的实体和关系的向量表示；

4.4)再以步骤4.3)得到的实体向量表示作为图卷积模型的实体初始向量表示，反复执行步骤4.2)和步骤4.3)，直至收敛得到最终的实体和关系的向量表示；

4.5)输出知识图谱的向量表示。