[发明专利]一种基于互信息的图文对齐方法

权利要求书

1.一种基于互信息的图文对齐方法，其特征在于，所述基于互信息的图文对齐方法，包括：

构建包括特征提取模块和特征对齐模块的图文对齐网络模型，所述特征提取模块包括图像特征提取模块和文本特征提取模块，分别用于提取图像特征和文本特征，所述特征对齐模块用于计算对齐损失，所述对齐损失包括为模态内损失和模态间损失；

获取训练样本，对构建的图文对齐网络模型进行训练，得到训练好的图文对齐网络模型；

将待对齐的图像和文本输入训练好的图文对齐网络模型，得到图像对应文本排序或文本对应的图像排序，实现图像与文本的对齐。

2.根据权利要求1所述的基于互信息的图文对齐方法，其特征在于，所述图像特征提取模块包括依次连接的图像裁剪模块以及四个阶层，第一阶层包括一个全连接层和两个Swin-Transformer Block，第二阶层包括一个图像拼接模块和两个Swin-TransformerBlock，第三阶层包括一个图像拼接模块和十八个Swin-Transformer Block，第四阶层包括一个图像拼接模块和两个Swin-Transformer Block。

3.根据权利要求2所述的基于互信息的图文对齐方法，其特征在于，所述图像裁剪模块将输入图像按照预设图像块大小进行分割，然后将得到的图像库排成一列输入到后续网络模块。

4.根据权利要求2所述的基于互信息的图文对齐方法，其特征在于，所述图像拼接模块，用于将前一个阶层的输出还原成一张完整的图像。

5.根据权利要求1所述的基于互信息的图文对齐方法，其特征在于，所述文本特征提取模块包括依次连接的一个全连接层和十二个Transformer编码器。

6.根据权利要求1所述的基于互信息的图文对齐方法，其特征在于，所述模态内损失，用于计算同一张图像的不同增强在经过特征提取模块后的模态内损失；所述模态间损失，用于将同一张图像的不同增强分别与文本计算模态间损失，然后取最大值作为最终的模态间损失。