[发明专利]多模态知识图谱构建方法

权利要求书

1.一种多模态知识图谱构建方法，其特征在于包括如下步骤：

多模态数据语义特征提取：基于多模态数据特征表示模型提取多模态数据语义特征，构建基于预训练模型的文本、图像、音视频的数据特征提取模型，基于特征提取模型分别完成单模态数据语义特征提取、文本数据语义特征提取、图像特征提取、视频特征提取、图像数据的文本化描述信息提取和文本化描述、视频的文本化描述信息提取；

多模态知识表示：基于无监督图嵌入、属性图嵌入和异构图嵌入，将不同类型数据投射到同一向量空间中进行表示，实现跨模态的多模态知识表示；

多模态知识融合消歧：在上述工作的基础上，将需要进行融合对齐的两个图谱分别转化为向量表示形式，然后基于得到的多模态知识表示，根据先验对齐数据学习知识图谱间实体对的映射关系，解码映射到知识图谱中的相应节点，生成融合后新图谱、实体及其属性，抽取模态特征不同视觉对象之间的关联，形成多模态场景，通过多模态知识融合自动消歧多模态数据，得到候选实体表示进行语义匹配排序，通过消息传递，将实体链接到多模态场景，形成多模态知识图谱。

2.如权利要求1所述的多模态知识图谱构建方法，其特征在于：在图像特征提取中，采用包含8层神经网络，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层卷积神经网络之AlexNet模型、深度学习VGG模型、残差网络ResNet或密集卷积网络DenseNet的深度神经网络的图像特征提取技术来提取图像中物体语义信息，进而构建具有较强表达能力的图像特征。

3.如权利要求1所述的多模态知识图谱构建方法，其特征在于：在图像数据的文本化描述信息提取中，采用编码器-解码器模型，首先，在编码器部分使用LSTM递归神经网络编码句子和深度卷积网络(CNN)编码图像特征，构建联合多模态空间用来排列图像和描述，然后，在解码器部分使用基于深度神经网络的语言模型，从编码器构建的多模态共享空间中产生新颖的描述。

4.如权利要求1所述的多模态知识图谱构建方法，其特征在于：从视频特征提取和视频的文本化描述两个层次完成视频数据语义特征抽取和视频特征提取，采用双路CNN与长短期记忆网络(LSTM)相结合的视频特征提取方法，在CNN框架中寻找时间域上的某个模式来表达局部运动信息，用LSTM对帧的双路CNN最后一层的激活在时间轴上进行整合，LSTM把每个连续帧的双路CNN最后一层卷积特征作为输入，从左向右推进时间，从下到上通过5层LSTM，最上的softmax层在每个时间点给出分类结果，不同时间上的同一层网络进行参数共享，训练时，视频的分类结果在每帧都进行BP(back Propagation)，同时，在网络架构中加入光流特征，作为每秒一帧的采样所引起的帧之间隐含的运动信息丢失的补偿。

5.如权利要求1所述的多模态知识图谱构建方法，其特征在于：视频的文本化描述信息提取，直接将序列帧映射成序列句子模型S2VT(sequence to sequence-video to text)进行视频的文本描述提取，使用编码器-解码器结构encoder-decoder，将有用的视频信息使用神经网络CNN转化成特征，并使用长短期记忆网络LSTM对神经网络CNN特征进行时序建模，然后供解码器使用。

6.如权利要求1所述的多模态知识图谱构建方法，其特征在于：在文本数据语义特征提取中，文本数据语义提取包括词汇级、句法级、篇章级、跨篇章级的文本语义特征提取，其中，词汇级语义提取的结果支撑后续句法级、篇章级、跨篇章级文本语义特征的提取；词汇级文本语义提取主要提取文本中的实体、关键词、实体关系、新词发现，句法级文本语义提取实现文本依存句法分析、文本句子相似度计算、元事件提取、句际关系分析；篇章级文本语义提取完成文本分类聚类、文本篇章结构分析、句际关系提取、文本情感分析、主题提取、观点提取和事件。