[发明专利]一种图文数据的多级关系分析与挖掘方法

说明书

本发明公开了一种图文数据的多级关系分析与挖掘方法，其引入BERT‑Large提取文本特征构建文本连接图，利用Faster‑RCNN网络提取图像特征来学习空间位置关系和语义关系并构建图像连接图，进而完成单模态内部语义关系计算，在此基础上，使用“节点切分方法”和带多头注意力机制的图卷积网络，进行局部和全局的图文关系融合。此外，为提升关系分析与挖掘效率，采用了基于注意力机制的连边权重剪枝策略，用以增强重要分支表示，减少冗余信息干扰。在公开的Flickr30K、MSCOCO‑1K、MSCOCO‑5K数据集上进行方法实验，并与11种方法进行实验结果的对比分析，本发明在Flickr30K上的平均召回率提高了0.97％和0.57％，在MSCOCO‑1K上的平均召回率提高了0.93％和0.63％，在MSCOCO‑5K上的平均召回率提高了0.37％和0.93％。

技术领域

本发明涉及知识挖掘和知识管理的技术领域，尤其是指一种图文数据的多级关系分析与挖掘方法。

背景技术

随着文本、图像、视频等多模态数据急剧增涨，对数据的获取、分析与处理逐步由单模态转化为多模态形式。大量多模态数据之间包含语义关联，如何挖掘到语义相近的多模态数据进行知识抽取成为研究热点，关系挖掘作为多模态知识抽取中的重要任务也备受关注。

现有的研究主要聚焦于异构数据相似性来学习对应关系，可大致分为全局表示方法和区域词对应方法。全局表示方法分别提取图像和句子的全局特征，Corrado等人介绍了深度图像标签嵌入模型，采用图卷积网络从图像中提取视觉特征，并使用SkipGram提取语义标签，与匹配图像标签对的结构化目标相关联；Ma等人提出用于图像句子联合表示的网络，利用图文间的最终分数进行融合和匹配；Barros等人设计了高效的字符接收模块，该模块在不同粒度级别卷积原始字符来学习文本语义嵌入，并将图文表示编码到多模态空间中，通过对比成对损失函数关联图文间语义信息；Wang等人提出一种基于秩的张量融合网络来学习图文数据全局特征下的相似性；Wu等人通过语言引导的图注意网络来捕获图像间的关联；Mafla等人学习图像中显著对象和文本之间的公共语义空间来获得关系增强的特征；Liu等人提出了联合模态相似矩阵的无监督哈希方法来保持两种模态间相关性，利用抽样和加权方法，使具有相似语义的样本距离更近，不同语义样本距离更远；Dong等人采用图卷积网络方法使每个样本的语义信息更完整，利用生成式对抗网络在公共空间中获得模态不变表示。这些方法使显著对象在图文数据整体表示中起主导作用，但涉及到次要对象时往往被忽略。

区域词对应方法侧重于学习图像局部区域对应，Karpathy等人在网络迭代学习过程中计算区域和单词的相似性，但只能优化最相似的部分，效果也不够明显；Lee等人设计了交叉注意力机制来加权较重要的区域，以图像区域和句子中单词作为上下文计算图文相似度；Huang等人利用语义概念结合正确语义顺序来改进图像表示，设计出有利于语义增强的相似度匹配模型；Yao等人提出GCN-LSTM架构将语义和空间对象关系集成到图像编码器中学习区域级表示；Hou等人将外部先验知识嵌入到区域语义空间中来指导推理图像视频中的对象关系；Wang等人设计了位置聚焦注意网络来探索图文数据间相关性，将位置信息和视觉特征集成到图像表示中，使视觉表达更加完整；Chen等人提出了一种迭代匹配与重复注意记忆方法来选择突出特征，使用多步对齐来捕获图文数据间对应关系，通过一种内存蒸馏单元来融合多模态特征。