[发明专利]一种基于自学习的跨模态哈希检索方法

说明书

一种基于自学习的跨模态哈希检索方法，属于计算机技术领域，步骤为：1)通过共矩阵分解技术学习不同模态的潜在公共语义特征；2)通过正交变换和量化过程学习到统一的、具有辨别性的二进制码；3)将模态内和模态间的相似度保持整合为图正则化项，并嵌入到二进制码的生成过程中；4)计算和优化目标函数，迭代更新多个矩阵变量直至满足收敛条件；5)采用自学框架完成特定模态哈希函数的学习。本发明针对阈值策略造成大量化误差的问题，将不同模态公共表示的二进制编码损失最小化，同时嵌入模态内部和模态间的相似性，并引入自学习哈希方案学习到更具有辨别性的哈希函数。能够有效减小二值量化阶段的编码误差，提高哈希码的质量和跨模态检索的性能。

技术领域

本发明属于计算机技术领域，涉及一种基于自学习的跨模态哈希检索方法。

背景技术

随着信息检索技术的快速发展和多种数字设备的普及，互联网中出现大量多媒体数据，如文本、图像、视频等。这些多媒体数据不仅具有相当大的数量，还包含多种不同维度的模态。由于不同模态的数据通常描述了同一个物体或事件，如何利用其中一种模态数据来检索与之相关的其他模态结果，已经成为需要迫切解决的问题。近年来，许多研究者已经投入到跨模态检索领域，并取得了很大的成功。然而，当数据维度较高、规模较大时，大多数跨模态检索方法的检索成本会非常大。为了加快检索速度，基于哈希的跨模态检索(即跨模态哈希)在多媒体领域引起了越来越多的关注，它将不同模态的高维数据转换成紧凑的二进制码，并保持原始数据的流形结构，有效地解决了大规模多媒体数据的检索问题。由于不同模态之间不一致的特征维度和语义差异，跨模态哈希仍然是一项非常具有挑战性的任务。

近年来，大量的研究工作主要关注于消除不同模态之间的语义鸿沟。根据是否使用标签信息，跨模态哈希被分为无监督方法和监督方法。无监督的方法，例如跨媒体哈希(IMH)、潜在语义稀疏哈希(LSSH)、共矩阵分解哈希(CMFH)，仅利用训练数据的共现信息来挖掘不同模态的潜在特征。不同于无监督的方法，监督方法充分利用标签信息来保持语义相似性，通常可以有效减小语义差距，并得到更好的检索结果。代表性的监督跨模态哈希方法包括跨模态相似性敏感哈希(CMSSH)、语义相关最大化(SCM)、监督矩阵分解哈希(SMFH)。

然而，无论是无监督哈希方法还是监督的哈希方法，都具有一个共同的限制：在量化阶段，它们大多数都忽略了二值约束，而采用简单的阈值策略来生成最终的二进制哈希码，这将导致大量化误差，同时会降低二进制码的辨别能力。一些工作也采用了sigmoid或者tanh松弛来代替sign函数，从而避免了大量化误差。它们的结果也表明降低量化误差对提高哈希码的质量至关重要。

因此，本发明采用自学习哈希方案，主要考虑最小化公共表示的编码损失，发明了一种基于自学习的跨模态哈希检索方法。

发明内容

本发明针对两个模态(图像和文本)之间的交叉检索，探究一种基于自学习的跨模态哈希检索方法。该方法将语义特征学习和二值量化过程相结合，不仅捕获到各模态数据的潜在语义信息，而且使得二进制码的量化误差最小。此外，本发明引入自学习哈希方案来学习哈希函数，同时借助支持向量机二分类的优势，学习到更具有辨别力的哈希函数和哈希码，最终提高跨模态检索的准确率和召回率。

为了达到上述目的，本发明采用的技术方案为：

一种基于自学习的跨模态哈希检索方法，包括以下步骤：

步骤1、通过共矩阵分解技术学习不同模态的潜在公共语义特征

步骤2、通过正交变换和量化过程学习统一的、具有辨别性的二进制码；

步骤3、将模态内和模态间的相似度保持整合为图正则化项，并嵌入到二进制码的生成过程中；

步骤4、计算和优化目标函数，迭代更新多个矩阵变量直至满足收敛条件；

步骤5、采用自学框架完成特定模态哈希函数的学习。