[发明专利]基于虚拟标签回归的无监督跨模态哈希检索方法及系统

说明书

本公开提供了一种基于虚拟标签回归的无监督跨模态哈希检索方法及系统，将特征表示和哈希函数学习整合到一个统一的深度框架中，通过多模态深度特征的协同矩阵分解学习共享的哈希码，以保证多个模态共享相同的语义；在此基础上，引入虚拟标签的概念，通过非负谱分析学习虚拟标签，同时将学习到的虚拟标签回归到哈希码中，保证了哈希码和虚拟标签之间的语义一致性；在上述框架中，深度特征的协同矩阵分解和虚拟标签的学习与回归有利于深度特征表示和哈希函数的学习，改进后的深度特征表示和哈希模型有利于协同矩阵分解和虚拟标签的学习与回归，两者相互促进；同时，本公开通过一种新的离散优化策略，直接更新深度哈希函数和哈希码，有效地降低了现有方法中松弛策略的量化误差，提高了跨模态检索的性能。

技术领域

本公开涉及跨模态检索技术领域，特别涉及一种基于虚拟标签回归的无监督跨模态哈希检索方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

随着移动互联网的快速发展，互联网上的多模态数据呈现出爆炸式的增长趋势，在信息检索领域，多模态数据的快速增长带来了巨大的跨模态检索应用需求。跨模态检索即对不同模态的关系建模，实现模态间的检索，查询数据和待检索数据的模态不必相同，如以文本检索图像，以图像检索文本。探索新的跨模态检索模式是当前信息检索领域亟待解决的问题，哈希方法检索速度快，存储开销小，在该问题上获得越来越广泛的关注和应用。

跨模态哈希检索方法将不同模态的数据映射到公共汉明空间，得到共享的哈希码，并保持数据在原始特征空间的相似性，用二进制哈希码进行数据表示和数据相似性度量，大大降低了存储空间的消耗和计算复杂性。现有的跨模态哈希检索方法可以分为两大类：有监督哈希和无监督哈希。前者利用语义标签指导哈希码和哈希函数的学习，标签中的语义信息得以充分保存，因此学习到的哈希码具有较强的表达能力，但是，获取高质量的语义标签需耗费巨大的人力、物力和财力，此外，过分依赖语义标签会影响检索系统的可扩展性。后者从数据分布中学习哈希函数，不依赖任何监督标签，因此具有更理想的可扩展性，可以支持大规模的跨模态检索。

本公开发明人在研究中发现，虽然已经有多种无监督跨模态哈希检索方法被提出，但仍存在以下问题：(1)现有方法大多基于浅层模型，简单地采用线性或非线性映射进行哈希学习，致使学习到的哈希码表达能力有限；(2)没有语义标签的指导，学习到的哈希码中所包含的语义信息有限，语义信息的不足将直接影响检索精度；(3)大多采用“松弛+量化”两步优化策略求解哈希码，求解过程存在较大的量化误差。

发明内容

为了解决现有技术的不足，本公开提供了一种基于虚拟标签回归的无监督跨模态哈希检索方法及系统，将特征表示和哈希函数学习整合到一个统一的深度框架中，通过多模态深度特征的协同矩阵分解学习共享的哈希码，以保证多个模态共享相同的语义；在此基础上，引入虚拟标签的概念，通过非负谱分析学习虚拟标签，同时将学习到的虚拟标签回归到哈希码中，保证了哈希码和虚拟标签之间的语义一致性，提高了跨模态检索的性能。

为了实现上述目的，本公开采用如下技术方案：

第一方面，本公开提供了一种基于虚拟标签回归的无监督跨模态哈希检索方法，步骤如下：

获取跨模态检索数据集，并将它们划分为训练集、测试集和数据库集，其中每个样本都包括成对的图像和文本两个模态的数据；

构建深度哈希网络模型并进行网络参数初始化，将两个模态的原始数据分别输入到所构建的深度哈希网络中，分别得到两个模态的哈希函数；

利用各模态的哈希函数获取测试集和数据库集中样本的哈希码，计算每个测试样本的哈希码与数据库集样本的哈希码之间的汉明距离，数据库集样本按其对应的汉明距离升序排序，得到检索结果。