[发明专利]一种基于互信息的图文对齐方法

说明书

本发明公开了一种基于互信息的图文对齐方法，首先构建包括特征提取模块和特征对齐模块的图文对齐网络模型，所述特征提取模块包括图像特征提取模块和文本特征提取模块，分别用于提取图像特征和文本特征，所述特征对齐模块用于计算对齐损失，所述对齐损失包括为模态内损失和模态间损失。然后对构建的图文对齐网络模型进行训练，将待对齐的图像和文本输入训练好的图文对齐网络模型，得到图像对应文本排序或文本对应的图像排序，实现图像与文本的对齐。本发明充分利用图文数据间的互信息，对齐难以区分的图像文本对，提高图文对齐性能。

技术领域

本申请属于图像文本对齐技术领域，尤其涉及一种基于互信息的图文对齐方法。

背景技术

随着科技的飞速发展，图像、视频、文字、音频等海量多媒体数据正在迅速涌现。根据Gartner的数据，图像和视频数据已经占到了大数据的90％以上。2018年，全球创造、捕获、复制和消费的数据总量为33泽字节(ZB)。此外，这个数字在2020年增长到59ZB，到2025年将达到难以想象的175ZB。这些数据在形式上是多源异构的，在语义上是相互关联的，而且对社会至关重要。因此，对这些多媒体数据的语义分析和对这些多媒体内容的理解已经成为一个研究热点。

图像文本对齐是让计算机在语义层面来理解不同载体的多媒体数据。在实际生活中，往往会需要通过文本描述的方式来寻找对应的图像，或者是通过某张图像来找寻对应的文本描述。而图像文本对齐领域就是在拥有相同或者高度近似的语义信息的图像文本之间建立联系与映射。但是，由于图像文本数据载体的存储方式不同，语义表征与人类的认知也有矛盾，因此存在着“异构鸿沟”和“语义鸿沟”两大难题。“异构鸿沟”是指，图像、文本等不同多媒体数据的载体媒介不同，蕴含的表征也不尽相同；“语义鸿沟”是指，多媒体数据中的每一种媒体，如图像，存在这数据表征和人类认知的矛盾。因此，图像文本对齐势必需要一个统一的方式来度量不同形式的多媒体数据所蕴含的语义信息。

发明内容

本申请的目的是提供一种基于互信息的图像文本对齐方法，克服“异构鸿沟”和“语义鸿沟”，以及进一步提升图像文本对齐的性能。

为了实现上述目的，本申请技术方案如下：

一种基于互信息的图文对齐方法，包括：

构建包括特征提取模块和特征对齐模块的图文对齐网络模型，所述特征提取模块包括图像特征提取模块和文本特征提取模块，分别用于提取图像特征和文本特征，所述特征对齐模块用于计算对齐损失，所述对齐损失包括为模态内损失和模态间损失；

获取训练样本，对构建的图文对齐网络模型进行训练，得到训练好的图文对齐网络模型；

将待对齐的图像和文本输入训练好的图文对齐网络模型，得到图像对应文本排序或文本对应的图像排序，实现图像与文本的对齐。

进一步的，所述图像特征提取模块包括依次连接的图像裁剪模块以及四个阶层，第一阶层包括一个全连接层和两个Swin-Transformer Block，第二阶层包括一个图像拼接模块和两个Swin-Transformer Block，第三阶层包括一个图像拼接模块和十八个Swin-Transformer Block，第四阶层包括一个图像拼接模块和两个Swin-Transformer Block。

进一步的，所述图像裁剪模块将输入图像按照预设图像块大小进行分割，然后将得到的图像库排成一列输入到后续网络模块。

进一步的，所述图像拼接模块，用于将前一个阶层的输出还原成一张完整的图像。

进一步的，所述文本特征提取模块包括依次连接的一个全连接层和十二个Transformer编码器。

进一步的，所述模态内损失，用于计算同一张图像的不同增强在经过特征提取模块后的模态内损失；所述模态间损失，用于将同一张图像的不同增强分别与文本计算模态间损失，然后取最大值作为最终的模态间损失。