[发明专利]一种知识图谱实体对齐方法、系统、设备与存储介质

说明书

本发明公开了一种知识图谱实体对齐方法、系统、设备与存储介质，对于不同的两个多模态知识图谱采用共享参数的多模态孪生网络结构实现实体的表征，通过挖掘跨模态的语义关联和多角度对比正负实体对的特征来利用和实体相关的多模态信息，能够有效提升多模态实体对齐任务的准确性。

技术领域

本发明涉及数据挖掘中的多模态知识图谱领域，尤其涉及一种知识图谱实体对齐方法、系统、设备与存储介质。

背景技术

多模式知识图谱从视觉、关系和属性的角度组织真实世界的知识，在各种场景中引起了大量关注，并促进了众多下游应用的发展。一般来说，多模态知识图谱是由独立的多模态数据源和为了特定目的构建的。随着对冗余多模态知识整合的需求的激增，多模态实体对齐技术已成为该领域的新兴任务之一。

在文献中，已经有许多围绕实体对齐展开的研究。大多数方法都是针对传统的知识图谱，致力于探索关系或图结构上的相似性。但是这些方法可能无法适用于新兴的多模态知识图谱，这促使了研究人员开始针对多模态知识的利用去解决实体对齐问题。虽然这些多模态的方法达到了较好的效果，但它们仍然直接合并了单模态特征嵌入，使多模态知识中的深度语义在很大程度上没有得到探索。

事实上，多模态知识在理解现实世界的事实和生成更全面的实体表征方面有很大的潜力。然而，它也给实体对齐带来了巨大的挑战。首先，仅仅从基本图结构的角度来学习关系表征在多模态知识图谱中是不够的。通过纳入多模态语义来生成一个更充分的关系表示是非常必要且困难的。其次，多模态知识图谱中属性的稀疏性和异质性被加剧了。这使得挑选有益的属性以保证实体对齐的效果成为更大的挑战。最后，相对于传统的知识图谱，多模态的知识图谱存在着更严重的数据规模和昂贵标注问题。由于大规模的数据和标签的稀缺性，预对齐的种子严重不足并且难以获得，进一步加剧了实体对齐的严峻性。多模态知识图谱中的实体对齐任务是指在两个不同的多模态知识图谱中，匹配指代真实世界中相同概念的实体。随着多模态知识图谱数量的激增，促进了对多个多模态知识图谱中知识整合的需求，实体对齐则是其中一种极为有效的去除冗余且构建更加完备的多模态知识图谱的方法和手段。当实体对齐的准确率较低时，会错误地把具有歧义的知识合并，将此情况下获得的多模态知识图谱应用于搜索引擎、问答系统、推荐系统中，都会有较高的概率会获得错误的结果。以多模态知识图谱应用于搜索引擎的场景为例，当实体对齐效果不够好时，会导致信息检索不够准确，因此，有必要改进现有的实体对齐方案，保障多模态知识图谱的应用效果。

发明内容

本发明的目的是提供一种知识图谱实体对齐方法、系统、设备与存储介质，可以提升多模态实体对齐任务的准确性。能够在搜索引擎、问答系统、推荐系统中，得到更加有效且精确的结果。

本发明的目的是通过以下技术方案实现的：

一种知识图谱实体对齐方法，包括：

训练阶段，通过多模态知识嵌入网络提取实体特征，其中：对于每一实体，从对应图像中提取相应的视觉特征，并基于视觉特征对预训练的BERT模型提取的属性特征进行视觉自适应处理，获得最终的属性特征，以及采用针对关系的视觉增强机制对图谱嵌入模型提取的关系特征进行视觉增强处理，获得最终的关系特征，再将视觉特征、最终的关系特征与最终的属性特征整合为整体的实体表征；并且，利用来自不同知识图谱的两个实体的单模态特征和整体的实体表征进行相似度对比学习，所述单模态特征包括：视觉特征、最终的关系特征与最终的属性特征；利用视觉增强处理时的损失函数与对比学习的损失函数构建总损失函数进行训练，更新多模态知识嵌入网络的参数；训练完毕后，利用训练后的多模态知识嵌入网络获得更新后的实体的整体的实体表征；

对于两个不同知识图谱中的实体，通过更新后的整体的实体表征，两两进行相似度计算，选择相似度最高的两个实体作为对齐实体。

一种知识图谱实体对齐系统，用于实现前述的方法，该系统包括：多模态知识嵌入网络与实体对齐模块；