[发明专利]一种基于鲁棒监督的深度离散哈希跨模态检索方法及系统

说明书

本发明属于跨模态检索、模式识别技术领域，公开了一种基于鲁棒监督的深度离散哈希跨模态检索方法及系统，基于鲁棒监督的深度离散哈希跨模态检索方法采用模态内和模态间一致性保持策略，同时进行非冗余特征选择；并选择具有最小冗余度的鲁棒性和鉴别性特征生成二进制哈希码；再基于奇异值分解进行离散哈希学习。本发明的RSDDH方法可以优于几种最先进的浅层跨模态哈希方法，且随着哈希码长度的增加，本发明所提出的方法的性能就越好。根据实验结果，验证了特征选择策略、离散哈希方案，模态间和模态内一致性保持策略的有效性，提高了跨模态哈希检索的性能。

技术领域

本发明属于跨模态检索、模式识别技术领域，尤其涉及一种基于鲁棒监督的深度离散哈希跨模态检索方法及系统。

背景技术

目前，业内常用的现有技术有3种浅层跨模态哈希方法：CMFH、SCM和SMFH，以及3种深度跨模态哈希方法：CDQ、PRDH和DCMH。：集体矩阵因式分解哈希(CMFH)方法,通过从一个实例的不同模态用潜在因子模型建立集体矩阵来学习一种统一的哈希码；语义关联最大化(SCM)方法，将语义标签集成到大规模数据建模的哈希学习过程中，利用所有监督的信息进行线性时间复杂度的训练，避免显式计算相似矩阵；集体深度量化(CDQ)方法，尝试在端到端深度结构中引入量化用于跨模态检索；关系对引导深度哈希(PRDH)方法，分别从模态内视图和模态间视图集成不同类型的成对约束来促进哈希码的相似性学习。

数据往往以不同的方式表示。例如，在Flickr和Facebook网站等社交网络中，用户可以通过图片和相关文本记录事件。多模态数据迅速增加，同时在过去的几年里，技术的快速发展。跨模态检索的目的是将一种模态的数据作为查询，检索另一种模式的相关数据。考虑到跨模态检索的效率，哈希方法由于存储成本低和检索速度快，近年来受到了最近邻研究界的越来越多的关注。哈希的目的是将原始空间中的数据点映射到二进制哈希码的汉明空间中，在该空间中保留原始空间中的相似性。

在哈希技术的基础上，提出了许多跨模态检索任务的实现方法。但这些方法通常采用传统的手工特征表示来进行跨模态检索，缺点是特征提取过程独立于哈希码学习过程，这意味着手工构造的特征可能与哈希码学习过程不兼容。因此，这些现有的具有手工制作特征的方法在实际应用中可能无法获得令人满意的性能。例如，局部二进制模式，尺度不变特征变换和梯度直方图，通常用于描述图像特征，缺点有二，其一该特征对于非线性特征提取的效果并不理想；其二通用性不好，这些方法提取的特征在一个数据集上适用但是换一个数据集适用性很差。至于文字，文档主题生成模型、重复软最大化模型和词袋模型通常用于描述文本特征，有两个缺点：首先需要人工进行特征工程，成本很高；其次所生成的文本表示是高纬度高稀疏的，并且特征表达能力很弱。

综上所述，现有技术存在的问题是：

(1)在图像和文本之间的检索中，传统的手工特征对不同的跨模态检索任务缺乏适应性和通用性，可能在某些数据集上表现很好，在其他数据集上所取得的跨模态检索性能通常不能令人满意。导致检索性能不理想的另一个原因可能是这些方法大多是基于浅层架构，它不能彻底利用有用的信息来完成特定的跨模态检索任务。

(2)特征冗余问题。在各模态中，不同类型特征的判别能力是不同的，并且这些特征中存在冗余，一些现有技术尽管使用深度特征与特定的跨模态检索任务兼容，但是并没有采用特征选择策略，这样产生的哈希码所得到的跨模态检索性能存在一定的缺陷。

(3)离散哈希学习问题。由于哈希码学习问题本质上是一个离散的学习问题，无法轻易解决。许多现有的散列方法通过对离散约束进行放松并将问题转化为连续学习问题来解决离散学习问题。通过这种方式，尽管可以容易地解决离散学习问题，但是放松过程可能不利地影响所学习的二进制哈希码的准确性。

解决上述技术问题的意义：