[发明专利]一种基于深度自监督排序哈希的跨模态检索方法

说明书

本发明提出了一种基于深度自监督排序哈希的跨模态检索方法。包括以下步骤：首先学习一个标签网络用来保留语义特征与其对应的哈希码之间的相似关系。该标签网络可以有效地利用多标签信息来桥接不同模态之间的语义相关性。然后分别对图像和文本设计一个端到端的特征学习网络，进行特征学习。一方面，可以保持标签网络和图像文本网络之间的语义相关性。另一方面，可以使学习到的特征与特定的跨模态检索任务完美兼容。为了解决使用二进制分区函数编码对分区阈值十分敏感的问题，采用基于排序的编码函数。每个维度的相对排序不变，哈希编码的值就不变，这使得哈希函数不会对某些阈值非常敏感，进而获取的哈希编码鲁棒性更好。

技术领域

本发明涉及模式识别，具体涉及一种基于深度自监督排序哈希的跨模态检索方法。

背景技术

由于各种搜索引擎和社交媒体上的多媒体数据爆炸式增长，近年来跨模态检索已成为一个引人注目的话题。跨模态检索旨在用来自一个模态(例如文本)的数据来搜索另一种模态(例如图像)中的语义上相似的实例。由于来自不同模态的数据通常具有不可比较的特征表示和分布，因此有必要将它们映射到一个公共的特征空间。为了满足实际应用中低存储成本和高查询速度的要求，哈希在跨模态检索领域备受关注。它将高维多模态数据映射到公共的汉明空间，得到哈希码后仅通过异或运算就可以计算多模态数据之间的相似度来检索，相比于非哈希检索方法，哈希方法的检索速度要快得多。

目前跨模态检索已经有了很大的发展，很多浅层跨模态哈希检索方法被提出，这些浅层方法都是基于手工制作的特征进行哈希学习，它们的一个共同缺点是手工特征制作过程和哈希学习过程是完全独立的，进而手工制作的特征可能与哈希学习的过程无法完全兼容。导致检索性能不理想的另一个原因是大多数现有的深度哈希跨模态检索方法丢弃数据的完整标签，只使用跨模态相似性矩阵进行有监督学习，这样学习到的哈希编码缺少语义信息，不够准确。另外，大多数跨模态检索方法使用二进制空间分区函数进行编码，这种编码函数会产生较大的编码误差，也会导致检索性能变差。

发明内容

发明目的：针对现有技术存在的问题，提出一种基于深度自监督排序哈希的跨模态检索方法，是一种端到端的深度跨模态哈希方法，使用实例的标签信息学习实例的语义特征，并用学习到的语义特征监督图像和文本的特征学习。编码函数使用基于排序的编码函数来的得到鲁棒性更好的哈希码。。

技术方案：一种基于深度自监督排序哈希的跨模态检索方法，包括以下步骤：

(1)获取训练数据集，其中每个样本都包括文本、图像和标签，使用的基准多模态数据集分别是Wiki,MIRFlickr和NUS-WIDE；

(2)利用标签信息训练标签网络；

(3)通过标签网络的语义特征指导图像网络进行特征学习；

(4)通过标签网络的语义特征指导文本网络进行特征学习；

(5)根据设定的损失函数训练标签网络、图像网络和文本网络；

(6)使用基于排序的哈希函数进行编码。

进一步地，步骤(2)所述的利用标签信息训练标签网络的具体流程是：

(2.1)利用一个4层的全连接网络，该神经网络的输入层是实例的标签，第二层具有4096个节点，使用Relu激活函数并进行局部归一化；第三层具有512个节点，然后用Relu激活函数；第四层具有K*L+c个节点，K与编码函数有关，L为哈希码的长度，c为标签的维度；

(2.2)第i个实例，使用三元组(v_i,t_i,l_i)来表示，l_i作为v_i和t_i的自监督语义信息。在标签网络中，语义特征通过非线性变化投影为对应的哈希码。标签网络的损失函数为：