[发明专利]多模态知识图谱的实体对齐方法、装置及存储介质

说明书

本发明公开了一种多模态知识图谱的实体对齐方法、装置及存储介质。本发明通过获取第一多模态知识图谱和第二多模态知识图谱的数据，从中提取需要对齐的实体；然后处理所述实体的多模态数据，得到所述实体的各模态向量，根据所述各模态向量，进行早期融合以及晚期融合；接着，对早期融合的结果和晚期融合的结果进行结合，得到多模态嵌入向量；最后，根据所述多模态嵌入向量执行实体对齐。通过使用本发明中的方法，能够实现对多模态知识图谱的实体对齐，解决了多模态知识表述之间不一致的问题。本发明可广泛应用于知识图谱技术领域内。

技术领域

本发明涉及知识图谱技术领域，尤其是多模态知识图谱的实体对齐方法、装置及存储介质。

背景技术

因为大多数知识图谱是为了特定目的，并且是基于单语环境来构建的，这导致了同一概念在不同的知识图谱中会出现不同表述的情况。而实体对齐的目的就是把两个知识图谱中表述不同但实际相同的实体筛选出来，以整合不同的知识图谱。

由于知识形态多种多样，目前嵌入技术尚不能很好处理多模态知识，为克服这一挑战，近期研究者提出了各种模型，以融合知识图谱中多模态信息，并形成联合嵌入，让对齐模型能自动调节模态权重。但是，这些研究并未考虑特征级别的模态相关性，当多模态之间的相关性相对较大时，很可能得不到满意的结果。现有技术中存在的这些问题亟待解决。

发明内容

本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本发明实施例的一个目的在于提供多模态知识图谱的实体对齐方法、装置和介质，其能够通过对多模态知识图谱进行早期融合以及晚期融合，实现对多模态知识图谱的实体对齐，解决了多模态知识表述之间不一致的问题。

为了达到上述技术目的，本发明实施例所采取的技术方案包括：

第一方面，本发明实施例提供了一种多模态知识图谱的实体对齐方法，包括以下步骤：

多模态知识图谱的实体对齐方法，其特征在于，包括以下步骤：

获取第一多模态知识图谱和第二多模态知识图谱的数据；

分别从所述第一多模态知识图谱和第二多模态知识图谱中提取需要对齐的实体；

处理所述实体的多模态数据，得到所述实体的各模态向量，其中，所述多模态数据包括图像数据、关系数据、属性数据以及知识图谱结构数据；所述各模态向量包括图像嵌入向量、关系嵌入向量、属性嵌入向量以及知识图谱结构向量；

根据所述各模态向量，通过全连结神经网络模型进行早期融合；

根据所述各模态向量，通过低秩多模态模型进行晚期融合；

对早期融合的结果和晚期融合的结果进行结合，得到多模态嵌入向量；

根据所述多模态嵌入向量执行实体对齐。

进一步地，所述处理所述实体的图像数据，得到所述实体的图像嵌入向量这一步骤，其具体包括：

采用预先训练过的RESNET模型对所述获取的图像数据进行特征提取；

通过第一预设函数对所述提取特征进行处理，得到图像嵌入向量。

进一步地，所述处理所述实体的关系数据，得到所述实体的关系嵌入向量这一步骤，其具体包括：

通过TransE模型将所述获取的关系数据转换成平移向量；

通过第二预设函数计算所述平移向量的结构相似性，得到逻辑回归损失函数；

通过将所述逻辑回归损失函数进行收敛，得到关系嵌入向量。

进一步地，所述处理所述实体的属性数据，得到所述实体的属性嵌入向量这一步骤，其具体包括：