[发明专利]一种基于注意力机制和模态依赖的跨媒体交叉检索方法

权利要求书

1.一种基于注意力机制和模态依赖的跨媒体交叉检索方法，其特征在于，所述方法包括以下步骤：

步骤S1.根据提取器获取媒体类型数据，媒体类型数据包括文本数据、图像数据、音频数据和视频数据；

步骤S2.基于文本卷积网络、图像卷积网络、三元组损失函数、判别损失函数和分类损失函数对文本数据和图像数据创建图像文本网络；

文本卷积网络包括句子分类卷积神经网络，图像卷积网络包括预训练后的双线性卷积神经网络；

根据三元组损失函数使得相同类别的媒体类型的样本特征呈正相关，不同类别的样本特征呈负相关；

根据判别损失函数对媒体类型的样本特征进行识别；

根据分类损失函数对媒体类型的样本特征进行分类；

步骤S3.基于注意力机制、交叉熵损失函数、中心损失函数、四元组损失函数和分布损失函数对图像数据、音频数据和视频数据创建图像音频网络；

添加注意力机制的方法包括根据SE模块获取每个媒体类型特征的重要程度，并根据重要程度的结果为每个媒体类型特征对应的每个特征通道赋予不同的权值；

根据每个特征通道被赋予的不同 的权值获取媒体类型特征图；

通过压缩操作、激励操作和重标定操作对媒体类型特征图进行重标定，并添加注意力机制；

使用交叉熵 损失函数的方法为通过对文本数据、图像数据、音频数据和视频数据的交叉熵损失值取对应样本的个数的均值，获取交叉熵损失函数；

使用中心损失函数的方法为使用中心损失函数对媒体类型的样本所属的类别进行区分，不区分媒体类型；

使用四元组损失函数的方法为根据四元组损失函数对不同的媒体类型进行区分；

使用分布损失函数的方法为使用分布损失函数获取任意两种媒体类型的所有类别的分布差异之和；

步骤S4.对图像文本网络和图像音频网络训练后进行跨媒体交叉检索。

2.根据权利要求1所述的一种基于注意力机制和模态依赖的跨媒体交叉检索方法，其特征在于，所述文本卷积网络和图像卷积网络设置方法包括：在文本卷积网络和图像卷积网络中各选取一个子网络；在两个子网络后端连接具有线性整流激活函数的全连接层，并对两个子网络使用端到端的训练方式进行训练；设置全连接层的隐藏单元数；设置两个子网络共享最后一层全连接层的权值；根据两个子网络的输出结果获取相似的特征表示，并将媒体类型的样本特征存入公共空间模块中。

3.根据权利要求1所述的一种基于注意力机制和模态依赖的跨媒体交叉检索方法，其特征在于，所述压缩操作的方式为：压缩操作使用全局平均池化的方法将媒体类型特征图中的二维特征压缩为一个实数，获取特征通道的统计信息。

4.根据权利要求1所述的一种基于注意力机制和模态依赖的跨媒体交叉检索方法，其特征在于，所述激励操作的方式为：激励操作为每个特征通道分配一个对应的权重值；通过全连接层和非线性层学习通道间的相关性，并输出分配的权重值。

5.根据权利要求1所述的一种基于注意力机制和模态依赖的跨媒体交叉检索方法，其特征在于，所述重标定操作的方式为：重标定操作对特征通道的维度进行重新标定，并在特征通道维度上引入注意力机制。

6.根据权利要求1所述的一种基于注意力机制和模态依赖的跨媒体交叉检索方法，其特征在于，步骤S4中对图像文本网络的训练方式包括：选择优化器，通过最小化交叉熵损失函数和判别损失函数训练图像文本网络模型，对网络模型训练的参数学习率和最大周期进行设置；根据三元组损失函数、判别损失函数和分类损失函数对图像文本网络模型进行约束，设置学习率和最大周期。

7.根据权利要求1所述的一种基于注意力机制和模态依赖的跨媒体交叉检索方法，其特征在于，步骤S4中对图像音频网络的训练方式包括：预设数据集；选用在数据集上预训练后的图像音频网络模型，并仅用图像数据对图像音频网络模型进行训练；使用图像数据、音频数据和视频数据共同对网络模型进行训练，并使用交叉熵损失函数微调网络；利用三个约束条件对网络进行微调，设置学习率和最大周期。