[发明专利]一种知识图谱实体对齐方法、系统、设备与存储介质

权利要求书

1.一种知识图谱实体对齐方法，其特征在于，包括：

训练阶段，通过多模态知识嵌入网络提取实体特征，其中：对于每一实体，从对应图像中提取相应的视觉特征，并基于视觉特征对预训练的BERT模型提取的属性特征进行视觉自适应处理，获得最终的属性特征，以及采用针对关系的视觉增强机制对图谱嵌入模型提取的关系特征进行视觉增强处理，获得最终的关系特征，再将视觉特征、最终的关系特征与最终的属性特征整合为整体的实体表征；并且，利用来自不同知识图谱的两个实体的单模态特征和整体的实体表征进行相似度对比学习，所述单模态特征包括：视觉特征、最终的关系特征与最终的属性特征；利用视觉增强处理时的损失函数与对比学习的损失函数构建总损失函数进行训练，更新多模态知识嵌入网络的参数；训练完毕后，利用训练后的多模态知识嵌入网络获得更新后的实体的整体的实体表征；

对于两个不同知识图谱中的实体，通过更新后的整体的实体表征，两两进行相似度计算，选择相似度最高的两个实体作为对齐实体。

2.根据权利要求1所述的一种知识图谱实体对齐方法，其特征在于，所述对于每一实体，从对应图像中提取相应的视觉特征包括：

对于实体e，利用残差网络模型从对应图像i中提取特征，并通过线性变换获得投影到对应空间，获得相应的视觉特征，表示为：

i_e＝ResNet(i)

e_I＝W₁·i_e+b₁

其中，ResNet表示残差网络模型，i_e表示残差网络模型从图像i中提取的特征，e_I表示相应的视觉特征，W₁与b₁表示线性变换的权重与偏置参数。

3.根据权利要求1所述的一种知识图谱实体对齐方法，其特征在于，采用针对关系的视觉增强机制对图谱嵌入模型提取的关系特征进行视觉增强处理，获得最终的关系特征包括：

训练阶段，利用正负样本，结合图谱嵌入模型的损失函数以及视觉增强的损失函数优化图谱嵌入模型；其中，正样本是指三元关系组的关系正确，即头尾实体满足相应的关系r，负样本是指三元关系组关系不正确，即头尾实体不满足相应的关系r；正样本表示为(h,r,t)，h与t分别为头实体与尾实体；负样本表示为(h′,r,t′)，h′与t′分别为头实体与尾实体；

通过图谱嵌入模型提取正负样本中头实体与尾实体的实体嵌入向量，以及关系的嵌入向量，并带入图谱嵌入模型的损失函数进行计算；计算视觉增强的损失函数时，先通过残差网络与线性变换获得正负样本对应图像的视觉特征，再结合图谱嵌入模型提取的关系嵌入向量带入视觉增强的损失函数进行计算；

训练完毕后，通过图谱嵌入模型提取实体嵌入向量作为相应实体最终的关系特征。

4.根据权利要求3所述的一种知识图谱实体对齐方法，其特征在于，

图谱嵌入模型的损失函数数表示为：

其中，T_R表示正样本集合，T′_R表示负样本集合；(h,r,t)＝τ，(h′,r,t′)＝τ′，h_R、h′_R各自表示头实体h、头实体h′的实体嵌入向量，t_R、t′_R各自表示尾实体t、尾实体t′的实体嵌入向量，h_r表示关系r的嵌入向量，实体嵌入向量与关系r的嵌入向量均为图谱嵌入模型的输出；Υ_r表示得分间隔，f_r(.)表示得分函数。