[发明专利]基于编解码网络的图像-文本多模态融合方法

权利要求书

1.一种基于编解码网络的图像-文本多模态融合方法，其特征在于，包括如下步骤：

S1：在现有目标检测数据集的基础上对其进行手动标记生成文本信息，构建新的图像-文本数据集，并将数据集按照6：2：2的比例划分为训练集、验证集和测试集；

S2：选择适合的优化学习方法，设置相关超参数，将S1中所述的训练集和验证集通过编解码网络模型进行训练；

S3：训练结束后，在测试集中任选一张图片，输入编解码网络模型，加载训练好的模型权重，最终检测出所对应的目标结果。

2.根据权利要求1所述的基于编解码网络的图像-文本多模态融合方法，其特征在于，步骤S2中所述编解码网路模型包括：

编码器，对给定的输入图像特征矩阵的尺度进行剪裁；

注意层，将编码后所获得的图像矩阵进行提取相关主要信息，减弱次要干扰信息；

解码器，将注意层的特征矩阵尺寸扩大至与输入矩阵相同尺寸。

3.根据权利要求2所述的基于编解码网络的图像-文本多模态融合方法，其特征在于，所述编码器和解码器均为四个，每个编码器块包含两个卷积核为3x3的卷积层以及一个卷积核为2x2的最大池化层，每个解码器块包含两个卷积核为3x3的反卷积层和一个卷积核为2x2的最大池化层。

4.根据权利要求2所述的基于编解码网络的图像-文本多模态融合方法，其特征在于，所述注意层由空洞金字塔池化和全局平均池化层并行处理。

5.根据权利要求4所述的基于编解码网络的图像-文本多模态融合方法，其特征在于，所述空洞金字塔池化采用的是卷积核为3x3的空洞卷积。

6.根据权利要求1所述的基于编解码网络的图像-文本多模态融合方法，其特征在于，步骤S2所述适合的优化学习方法为随机梯度优化器，所述相关的超参数为学习率、批尺寸、动量和权重衰减系数。