[发明专利]一种基于自适应特征融合的多模态实体对齐方法

说明书

本发明公开了一种基于自适应特征融合的多模态实体对齐方法，包括以下步骤：获取两个多模态知识图谱的数据；在结构特征学习模块中，利用图卷积神经网络分别学习所述两个多模态知识图谱的实体的结构向量，生成各自实体的结构特征表示；在视觉特征处理模块中，分别生成各自实体的视觉特征表示；通过自适应特征融合模块，结合两个多模态知识图谱的实体结构特征和实体视觉特征进行实体对齐。本发明针对视觉信息利用差的问题，计算实体‑图片的相似度得分，过滤噪声图片，并基于相似度获得更准确的实体视觉特征表示；设计了自适应特征融合机制，以可变注意力融合实体的结构特征和视觉特征，充分利用多模态信息的互补性，提升了对齐效果。

技术领域

本发明涉及自然语言处理中的知识图谱技术领域，尤其涉及一种基于自适应特征融合的多模态实体对齐方法。

背景技术

近年来，知识图谱成为了结构化数据广泛使用的表示方式。它以三元组的形式来表示现实世界的知识或事件，并且广泛应用于各类人工智能的下游任务。当前，多模态知识图谱往往从有限的数据源构建而得，存在信息缺失、覆盖率低的问题，使得知识利用率不高。考虑到人工补全知识图谱开销大且效率低，为了提高知识图谱的覆盖程度，一种可行的方法是自动地整合来自其他知识图谱的有用知识。实体作为链接不同知识图谱的枢纽，对于整合各个多模态知识图谱而言至关重要。识别不同的多模态知识图谱中表达同一含义的实体的过程，称为多模态实体对齐。

多模态实体对齐需要利用和融合多个模态的信息。然而，现有的多模态实体对齐方法遇到两个瓶颈：第一，图谱结构差异性难以处理。不同知识图谱中对等的实体通常具有对等的邻居实体，基于这一假设，目前的主流实体对齐方法主要依赖知识图谱的结构信息。然而真实世界中，由于构建方式的不同，不同知识图谱可能存在着较大结构差异。针对此类问题，可基于链接预测生成三元组以丰富结构信息，虽然在一定程度上缓和了结构差异性的问题，但生成的三元组可靠性有待考量，并且对于三元组数量相差多倍的情况补全难度很大。第二，视觉信息利用差。当前自动化构建多模态知识图谱的方法通常基于现有知识图谱补全其他模态的信息。为获取视觉信息，这些方法主要是利用爬虫从互联网获取与实体的相关图片。然而获取的图片中不可避免地存在部分相关程度较低的图片，即噪声图片。当前方法无法判别实体相关图片中的噪声图片，使得实体的视觉信息中混有部分噪声，进而降低了视觉信息进行实体对齐的准确率。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明公开了一种基于自适应特征融合的多模态实体对齐方法。所述方法针对目前多模态知识图谱视觉信息利用差的问题，利用预训练的图像-文本匹配模型，计算实体-图片的相似度得分，设置相似度阈值以过滤噪声图片，并基于相似度赋予图片不同权重，最终生成实体的视觉特征表示；此外，为捕获结构信息动态变化的置信度，充分利用不同模态信息的互补性，设计了自适应特征融合机制，基于实体的度以及实体与种子实体之间的距离，动态融合实体的结构信息和视觉信息，这种机制能够应对长尾实体数量占比大且结构信息相对匮乏的挑战。

本发明的技术方案如下，一种基于自适应特征融合的多模态实体对齐方法，包括以下步骤：

步骤1，获取两个多模态知识图谱的数据，以及，其中E代表实体集合；R代表关系集合；T代表三元组集合，是E×R×E的子集；I代表实体相关联的图片集合；

步骤2，在结构特征学习模块中，利用图卷积神经网络分别学习所述两个多模态知识图谱的实体的结构向量，生成各自实体的结构特征表示；

步骤3，在视觉特征处理模块中，分别生成各自实体的视觉特征表示；

步骤4，所述的自适应特征融合模块，对于每个实体对，，计算和之间的相似度得分，利用该相似度得分来预测潜在的对齐实体，所述的相似度得分为：

,

和分别表示实体的结构特征表示和视觉特征表示的相似度，、分别代表结构特征表示和视觉特征表示的贡献率权重；

,