[发明专利]一种基于注意力机制的知识图谱嵌入方法

权利要求书

1.一种基于注意力机制的知识图谱嵌入方法，其特征在于，包括以下步骤：

(1)输入需要补全的知识图谱数据集，基于注意力机制对知识图谱数据集进行初始化；

(2)基于注意力机制对嵌入表示进行更新，得到嵌入表示结果和注意力机制参数；

(3)根据嵌入表示结果和注意力机制参数，补全知识图谱数据集。

2.根据权利要求1所述的基于注意力机制的知识图谱嵌入方法，其特征在于，步骤(1)中，所述初始化的具体步骤为：

(1-1)随机初始化数据集中所有的关系与实体对应的向量，得到初始的关系向量与实体向量；

(1-2)对于每个关系向量r，将出现在训练条目头部的实体加入到头实体集合SH_r，将出现在训练条目尾部的实体加入到尾实体集合ST_r；

(1-3)将每个关系向量r的头实体集合SH_r与尾实体集合ST_r分别加入到候选头实体集合H_r与候选尾实体集合T_r，将候选头实体集合H_r和候选尾实体集合T_r初始化为整个实体集合E；

(1-4)将每个关系r的注意力向量a_r初始化为每一维都是1的向量。

3.根据权利要求1所述的基于注意力机制的知识图谱嵌入方法，其特征在于，步骤(2)中，所述基于注意力机制对嵌入表示进行更新的具体步骤为：

(2-1)从数据集的训练集中采样固定大小的一批数据Δ_batch；

(2-2)对Δ_batch中的每一个三元组(h，r，t)随机生成一个错误的三元组(h＇，r，t＇)，用三元组对{(h，r，t)，(h′，r，t′)}构成当前迭代所用的训练数据T_batch；

(2-3)计算整个算法的损失函数，并采用随机梯度下降算法更新嵌入表示；

(2-4)当迭代次数达到预定值M，则更新注意力机制相关的参变量H_r，T_r，a_r；

(2-5)重复步骤2-1～步骤2-4，直至整个算法收敛。

4.根据权利要求3所述的基于注意力机制的知识图谱嵌入方法，其特征在于，步骤(2-3)中，所述损失函数的公式为：

其中，h，r，t，h′，t′为三元组对{(h，r，t)，(h＇，r，t′)}的嵌入表示，f_r(h,t)＝||a_r*h+r-a_r*t||，f_r(h,t)为评估函数，a_r为关系注意力向量，H_r为候选头实体集合，T_r为候选尾实体集合，α为两部分损失的权重系数，γ为正负样例之间的最小间隔，[x]₊表示取正，当x<0时结果为0。

5.根据权利要求3所述的基于注意力机制的知识图谱嵌入方法，其特征在于，步骤(2-4)中，所述更新注意力机制相关的参变量的算法包括：

(2-4-1)利用Kmeans算法将所有实体向量聚成c类，C₁,…,C_c；

(2-4-2)根据以下两个表达式分别得到H_r和T_r；

其中，C_j为聚类得到的第j个类别的实体集合，SH_r为头实体集合，ST_r为尾实体集合；

(2-4-3)对于每一个关系向量r，计算H_r与T_r中所有实体向量的方差与若或者的第j维大于临界值δ，则a_r,j＝1；否则，a_r,j＝0。

6.根据权利要求1所述的基于注意力机制的知识图谱嵌入方法，其特征在于，步骤(3)中，所述补全知识图谱数据集的具体步骤为：

(3-1)对于一个关系三元组(h，r，t)，首先检查h是否属于H_r，t是否属于T_r，不属于的话，那么h或t的类别就不适合作为关系r的头实体或尾实体，这个三元组不成立，如果属于的话，则执行下一步；

(3-2)将h和t的表示向量分别乘以注意力向量a_r；

(3-3)计算评估函数f_r(h,t)＝||a_rh+r-a_rt||，如果分值低于阈值则认为该三元组成立，并且分数越低该关系成立的可能性越大。