[发明专利]一种基于多预测任务的多模态知识图谱表示方法

说明书

本发明公开一种基于多预测任务的多模态知识图谱表示方法，包括如下步骤：基于预设的TransR模型、CBOW模型以及ResNet模型分别获取多模态知识图谱中结构化模态、语义模态和图像模态数据的向量表示；利用Imagined方法将语义模态数据的向量表示与图像模态的向量表示进行匹配、重构得到混合模态的向量表示；基于结构化模态和混合模态的向量表示构建三个跨模态预测任务，并针对三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型；整合面向不同预测任务的多个子模型得到完整训练模型。本发明可以完成多模态数据表示学习以及后续的知识图谱补全任务。

技术领域

本发明涉及知识图谱表示学习技术领域，尤其涉及一种基于多预测任务的多模态知识图谱表示方法。

背景技术

如何高效表示并拓展人类知识是人工智能研究及发展的主要方向之一，知识库常常作为自然语言理解、自然语言生成等AI任务的实现基础。近年来，结构化表述知识的知识图谱技术受到了领域内的广泛关注。知识图谱利用三元组的结构描述知识事实，每个三元组由实体及关系构成。知识图谱其结构化的特性使知识图谱在知识表示、知识嵌入以及知识拓展等方向都有十分良好的表现，知识图谱技术已经在语言表示学习以及智能语言问答等人工智能应用程序中被广泛应用。近年来，为了使知识图谱具备更加完备的知识内容进而使知识图谱在表示学习嵌入时更加准确、效率更高，越来越多的研究不仅仅局限于结构化的文本知识内容，而是致力于构建多模态的知识图谱，向知识图谱中引入高质量的外部信息，构建对图谱中不同模态数据协同表达的方法，使知识图谱能够为跨模态的任务提供支撑。多模态知识图谱的表示学习方法是当前热门且前沿的研究方向。

目前的知识图谱表示学习方法在结构化数据的单一模态上已经较为成熟，其中基于翻译原理的表示学习模型因其简单且准确的特性得到了广泛应用。多模态知识图谱由结构化数据、图像数据、语义数据等不同模态的数据构成，对多模态知识图谱进行表示学习需要首先将不同模态的数据进行向量表示，然后选取适当的方法对向量进行统一训练。现存多模态向量统一训练过程多数基于翻译原理构建训练模型，经过训练不断缩小不同模态向量表示之间的差距，进而获得多模态数据的统一向量表示。知识图谱补全是知识获取的重要分支，是知识图谱表示学习后面临的重要任务，知识图谱补全任务可以抽象为实体预测和关系预测任务，多模态知识图谱补全需要图谱表示学习方法能够满足实现跨模态执行预测任务的需求。现存方法处理知识图谱跨模态任务的准确度以及稳定性不足，表示方法中多模态协同训练的模型有待优化。知识图谱中存在一对一、一对多和多对多关系，现存方法缺乏对不同关系类型的不同处理，导致表示方法无法适用于表达不同关系类型的三元组数据。

发明内容

为了解决上述技术问题，本发明提出一种基于多预测任务的多模态知识图谱表示方法，解决了现有多模态知识图谱表示学习方法难以执行跨模态任务以及无法适用于表达不同关系类型的三元组数据的问题。本发明可以用于多模态数据表示学习以及后续的知识图谱补全任务。

为了达到上述目的，本发明的技术方案如下：

一种基于多预测任务的多模态知识图谱表示方法，包括如下步骤：

基于预设的TransR模型、CBOW模型以及ResNet模型分别获取多模态知识图谱中结构化模态、语义模态和图像模态数据的向量表示；

利用Imagined方法将语义模态的向量表示和图像模态的向量表示进行匹配，对向量进行重构得到混合模态的向量表示；

基于结构化模态和混合模态的向量表示构建三个跨模态预测任务，并针对三个跨模态预测任务分别利用标签平滑技术和自适应权重更新方法构建全连接神经网络的子模型；

整合面向不同预测任务的三个子模型得到完整训练模型，经过训练优化得到知识图谱不同模态下最终的向量表示。