[发明专利]跨模态图文匹配的方法、装置及计算机可读存储介质

说明书

本发明公开了一种跨模态图文匹配的方法、装置及计算机可读存储介质，方法包括：获取图像特征向量和句子特征向量；利用注意力机制聚合图像内的图像特征向量的上下文信息获得视觉短语和句子内的句子特征向量的上下文信息获得文本短语；计算视觉短语和文本短语的模态内相似度；通过交叉注意力层获取视觉短语在文本语义空间的特征表示和文本短语在视觉语义空间的特征表示，计算获得图像到句子的跨模态相似度和句子到图像的跨模态相似度；根据预设权重、模态内相似度和跨模态相似度计算获得图像到句子的综合相似度和句子到图像的综合相似度；根据综合相似度获得图像与句子的关联结果，本发明提供的方法具有匹配速度快、匹配准确性高的特点。

技术领域

本发明涉及人工智能领域，尤其涉及一种基于短语注意力建模的跨模态图文匹配的方法、装置及计算机可读存储介质。

背景技术

图文匹配旨在找出图像和文本之间的对应关系，在智能交互、跨模态检索、视觉问答等领域有广泛的应用。

传统的图文匹配方法通常利用监督信息将深层网络输出的图像和文本的数据特征进行关联。早期的方法主要基于全局图像文本特征，近年来许多细粒度特征关联的方法也被提出，并取得了较为显著的成果，这些方法大多基于区域特征向量提取网络和单词特征，并利用注意力机制将视觉区域特征向量和文本单词特征关联。

上述方法一般关注图像区域和句子单词的对应性，但是却忽略了跨模态对应性应该在更高的语义层面进行。即单个的区域和单词之间可能并不存在一个准确的对应关系，相反地，图文之间的整体对应性应该考虑文本短语和多个区域聚合特征(视觉短语)的关系，因此，现有技术中的图文匹配普遍存在着匹配速度慢，匹配准确度低的缺陷。

发明内容

为了解决上述技术问题，提高图文匹配的匹配速度和匹配准确度，本发明公开了一种跨模态图文匹配的方法。

一种跨模态图文匹配的方法，包括：

获取图像的图像特征向量和句子的句子特征向量；

利用注意力机制聚合所述图像内的所述图像特征向量的上下文信息获得视觉短语，利用注意力机制聚合所述句子内的所述句子特征向量的上下文信息获得文本短语；

计算所述视觉短语和所述文本短语的模态内相似度；

通过交叉注意力层获取所述视觉短语在文本语义空间的第一特征表示，通过所述文本短语和所述第一特征表示计算获得所述图像到所述句子的第一跨模态相似度；

通过交叉注意力层获取所述文本短语在视觉语义空间的第二特征表示，通过所述视觉短语和所述第二特征表示计算获得所述句子到所述图像的第二跨模态相似度；

根据第一预设权重、所述模态内相似度和所述第一跨模态相似度计算获得所述图像到所述句子的第一综合相似度；

根据第二预设权重、所述模态内相似度和所述第二跨模态相似度计算获得所述句子到所述图像的第二综合相似度；以及

根据所述第一综合相似度和/或所述第二综合相似度获得所述图像与所述句子的关联结果；

其中，所述文本语义空间包括所有所述句子特征向量，所述视觉语义空间包括所有所述图像特征向量。

根据本发明的一些实施例，获取图像的图像特征向量包括：通过第一预训练模型检测所述图像并提取多个区域特征，通过全连接层将每个所述区域特征降维获得所述图像特征向量；

获取句子的句子特征向量包括：通过第二预训练模型提取句子的单词片段的上下文，获得多个单词表示为所述句子特征向量。

根据本发明的一些实施例，所述利用注意力机制聚合所述图像内的所述图像特征向量的上下文信息获得视觉短语包括：通过transformer模型的编码器获得多个所述图像特征向量之间的两两注意力关系，并利用注意力机制将每个所述图像特征向量聚合成所述视觉短语；以及