[发明专利]一种深度监督与特征融合的细粒度跨媒体检索方法

权利要求书

1.一种深度监督与特征融合的细粒度跨媒体检索方法，其特征在于，包括以下步骤：步骤S1.将图像数据、视频数据、文本数据和音频数据分别输入到媒体专用网络中，将四种媒体数据子网络最后一层的全连接层进行权值共享，提取对应的原始特征；媒体专用网络包括图像卷积网络、视频卷积网络、音频卷积网络和文本卷积网络； 步骤S2.将原始特征利用语义信息和标签信息输入进公共空间，同时媒体数据四种子网络分别连接线性分类器，根据线性分类器内的标签信息对提取到的媒体数据的原始特征进行分类； 步骤S3.预设三元组损失约束条件、分类损失约束条件和判别损失约束条件上，对公共空间内媒体数据的分类特征进行度量； 预设三元组损失约束条件的方法包括： 判断是否是同类媒体数据样本，如果是，根据等距离约束和边界约束对媒体数据样本进行约束，如果否，引入等分布约束对媒体数据样本进行约束； 根据等距离约束减少同类媒体数据样本的类内方差，根据边界约束区分同类媒体数据样本中的样本特征，根据等距离约束和边界约束将同类媒体数据约束在公共空间中； 根据等分布约束，并使用小批量梯度下降算法mini-batch将不同类媒体数据样本约束在公共空间中； 预设分类损失约束条件的方法包括： 在公共空间内，同时使用一个线性分类器来预测媒体数据样本特征在公共空间的标签信息；所述线性分类器对应的线性层连接在四种子网络的顶部，并根据交叉熵损失函数对四种子网络进行分类； 预设判别损失约束条件的方法包括： 选取两种媒体数据样本特征向量，设置当媒体数据样本属于同类时，其值为1，属于不同类时，其值为0，并根据余弦函数和判别损失函数对媒体数据样本特征向量进行表示，获取负对数似然值和负对数似然函数； 根据负对数似然函数获取激活函数，根据激活函数对媒体数据样本进行判别损失。

2.根据权利要求1所述的一种深度监督与特征融合的细粒度跨媒体检索方法，其特征在于，所述步骤S1包括： 根据预训练的双线性卷积神经网络提取图像数据和视频数据的细粒度特征，并将图像数据和视频数据的细粒度特征作为原始语义特征； 将图像数据和视频数据的原始语义特征输入进全连接层生成图像视频原始特征。

3.根据权利要求1所述的一种深度监督与特征融合的细粒度跨媒体检索方法，其特征在于，所述步骤S1还包括： 根据预训练后的VGG16卷积神经网络提取音频数据的细粒度特征，并将音频数据的细粒度特征作为原始语义特征； 将音频数据的原始语义特征输入进全连接层生成音频原始特征。

4.根据权利要求1所述的一种深度监督与特征融合的细粒度跨媒体检索方法，其特征在于，所述步骤S1还包括： 根据sentence CNN卷积神经网络提取文本数据的细粒度特征，并将文本数据的细粒度特征作为原始语义特征； 将文本数据的原始语义特征输入进最后一层全连接层生成文本原始特征。