[发明专利]跨模态图文匹配的方法、装置及计算机可读存储介质

权利要求书

1.一种跨模态图文匹配的方法，其特征在于，包括：

获取图像的图像特征向量和句子的句子特征向量；

利用注意力机制聚合所述图像内的所述图像特征向量的上下文信息获得视觉短语，利用注意力机制聚合所述句子内的所述句子特征向量的上下文信息获得文本短语；

计算所述视觉短语和所述文本短语的模态内相似度；

通过交叉注意力层获取所述视觉短语在文本语义空间的第一特征表示，通过所述文本短语和所述第一特征表示计算获得所述图像到所述句子的第一跨模态相似度；

通过交叉注意力层获取所述文本短语在视觉语义空间的第二特征表示，通过所述视觉短语和所述第二特征表示计算获得所述句子到所述图像的第二跨模态相似度；

根据第一预设权重、所述模态内相似度和所述第一跨模态相似度计算获得所述图像到所述句子的第一综合相似度；

根据第二预设权重、所述模态内相似度和所述第二跨模态相似度计算获得所述句子到所述图像的第二综合相似度；以及

根据所述第一综合相似度和/或所述第二综合相似度获得所述图像与所述句子的关联结果；

其中，所述文本语义空间包括所有所述句子特征向量，所述视觉语义空间包括所有所述图像特征向量。

2.根据权利要求1所述方法，其特征在于，

获取图像的图像特征向量包括：通过第一预训练模型检测所述图像并提取多个区域特征，通过全连接层将每个所述区域特征降维获得所述图像特征向量；

获取句子的句子特征向量包括：通过第二预训练模型提取句子的单词片段的上下文，获得多个单词表示为所述句子特征向量。

3.根据权利要求1所述方法，其特征在于，

所述利用注意力机制聚合所述图像内的所述图像特征向量的上下文信息获得视觉短语包括：通过transformer模型的编码器获得多个所述图像特征向量之间的两两注意力关系，并利用注意力机制将每个所述图像特征向量聚合成所述视觉短语；以及

所述利用注意力机制聚合所述句子内的所述句子特征向量的上下文信息获得文本短语包括：通过一维卷积神经网络对一个或两个或三个相邻单词进行聚合获得所述文本短语。

4.根据权利要求3所述方法，其特征在于，所述通过transformer模型的编码器获得多个所述图像特征向量之间的两两注意力关系，并利用注意力机制将每个所述图像特征向量聚合成所述视觉短语包括：计算每个所述图像特征向量的查询、键和值向量，在单个注意力头使用所述查询和所述键计算相似度权值，根据所述相似度权值对所述值向量加权，将每个注意力头得到的加权结果进行拼接，将拼接结果通过全连接层处理得到所述视觉短语。

5.根据权利要求1所述方法，其特征在于，所述计算所述视觉短语和所述文本短语的模态内相似度包括：计算每个所述视觉短语与每个文本短语的相似度，选取相似度最高的k个求平均值，将获得的平均值作为所述模态内相似度，其中，k为大于1的整数。

6.根据权利要求1所述方法，其特征在于，

所述通过交叉注意力层获取所述视觉短语在文本语义空间的第一特征表示包括：将所述视觉短语通过交叉注意力层映射到所述文本语义空间获得所述第一特征表示；

通过交叉注意力层获取所述文本短语在视觉语义空间的第二特征表示包括：将所述文本短语通过交叉注意力层映射到所述视觉语义空间获得所述第二特征表示。

7.根据权利要求6所述方法，其特征在于，

所述通过所述文本短语和所述第一特征表示计算获得所述图像到所述句子的第一跨模态相似度包括：计算所述文本短语与所述第一特征表示之间的余弦相似度，取余弦相似度最高的x个的平均值为所述第二跨模态相似度；

所述通过所述视觉短语和所述第二特征表示计算获得所述句子到所述图像的第二跨模态相似度包括：计算所述视觉短语与所述第二特征表示之间的余弦相似度，取余弦相似度最高的y个的平均值为所述第二跨模态相似度；

其中，x、y均为大于1的整数。