[发明专利]一种基于深度辨识度迁移的跨模态检索方法

说明书

本发明公开了一种基于深度辨识度迁移的跨模态检索方法，属于信息检索技术领域。所述方法在学习不同模态数据公共表示特征的过程中，通过最小化解码向量与文本原始特征间的重建损失增强文本公共表示特征的语义辨识度，同时通过权重共享层的模态不变损失和样本相关性损失将文本公共表示特征的语义高辨识度迁移到图片公共表示特征，从而为各模态数据习得高语义辨识度的公共表示特征，进而提升了检索性能。

技术领域

本发明涉及一种基于深度辨识度迁移的跨模态检索方法，属于信息检索技术领域。

背景技术

跨模态检索旨在跨越不同模态实现信息检索，即可以根据任意查询模态的样本返回与该查询样本相关的其他模态的检索结果，比如，根据查询文本输出对应的图片检索结果。近年来，深度学习在跨模态检索领域进展巨大，相继提出了一系列基于深度学习的跨模态检索方法。这些跨模态深度方法通过深度自编码、生成对抗等方式挖掘不同模态数据间的关联信息，弥合多模态数据模态内的语义鸿沟和模态间的异构鸿沟，学习语义一致的公共表示特征。

然而，现有的跨模态深度方法都忽略了不同模态数据间的语义辨识度的差异，因而导致其检索精确度有待于进一步的提高。

发明内容

为了解决现有的基于深度学习的跨模态检索方法对多模态数据的语义辨识度差异性考虑不足导致的检索精确度低的问题，本发明提供一种基于深度辨识度迁移的跨模态检索方法。所述方法包括：

步骤S1，构建深度辨识度迁移网络，所述深度辨识度迁移网络包括原始多模态特征提取模块、文本辨识度迁移模块以及文本辨识度增强模块，各模块依次连接；

步骤S2，采用公共数据集训练所构建的深度辨识度迁移网络，所述公共数据集包含n个图片文本对；

步骤S3，利用训练好的深度辨识度迁移网络获得待检索图片或文本的最优公共表示特征，并采用余弦距离度量待检索图片或文本的最优公共表示特征与数据库中各图片或文本的公共表示特征间的距离，得到相似度矩阵，根据相似度矩阵输出相应的跨模态检索结果。

可选的，所述方法在训练所构建的深度辨识度迁移网络时，首先提取公共数据集中图片的原始特征和文本的原始特征，并根据图片的原始特征和文本的原始特征分别学习对应图片公共表示特征U＝[u₁,u₂,…u_n]和文本公共表示特征V＝[v₁,v₂,…v_n]；然后设定语义约束函数J₃和重构损失函数J₄对文本公共表示特征V的语义辨识度进行增强；设定模态不变损失函数J₁和样本相关性损失函数J₂将增强后的文本公共表示特征的语义高辨识度迁移到了图片公共表示特征，增强图片公共表示特征的语义辨识度，训练过程中最小化总目标函数J并采用Adam模型进行参数更新，不断迭代从而得到训练好的的深度辨识度迁移网络，所述总目标函数J由模态不变损失函数J₁、样本相关性损失函数J₂、语义约束函数J₃和重构损失函数J₄共同构成；

其中u_i表示图片i的公共表示特征向量，v_j表示文本j的公共表示特征向量，i＝1,2,……,n；j＝1,2,……,n。

可选的，所述原始多模态特征提取模块由两个对称特征提取部分构成，分别用于提取图片和文本的原始特征，得到图片原始特征矩阵H^α和文本原始特征矩阵H^β；

所述文本辨识度迁移模块由图片公共表示特征学习模块和文本公共表示特征学习模块组成；二者均由两个激活函数为ReLU的全连接层组成，且二者的最后一层全连接层共享权重，称为共享权重层；