[发明专利]基于弱监督哈希学习的多模态检索方法及系统

说明书

本发明属于大数据检索技术领域，提供了基于弱监督哈希学习的多模态检索方法及系统。为解决模态间配对信息不完整的情况的问题，该方法包括获取待检索样本，将其进行哈希码计算；将待检索样本的哈希码与检索数据库中的哈希码通过0/1异或运算，计算海明距离，并将以海明距离从小到大返回相似数据；检索数据库的构建过程为：基于模态内成对相似度、模态间成对相似度以及补全的各模态标签信息，建立半监督半配对跨模态哈希的目标函数；通过优化半监督半配对跨模态哈希的目标函数获取哈希表示，并从哈希表示中采样，再将对应的部分跨模态相似度信息嵌入哈希函数学习中，最后利用嵌入的哈希函数生成检索数据库。其减少了计算复杂度且提高了检索精度。

技术领域

本发明属于大数据检索技术领域，尤其涉及基于弱监督哈希学习的多模态检索方法及系统。

背景技术

为了方便用户从海量数据中快速检索到对自己有用或感兴趣的内容，互联网的内容提供商不仅需要过滤重复、近似内容，还要对用户搜索到的相似内容进行重新排序。此外，多媒体数据表征的异构性带来了跨模态检索需求，例如，一个网页中既包含图像内容，又包含文字信息，用户可能需要以文本搜图或以图搜文本。因此，如何实现不同模态间的相似搜索成为互联网企业在处理多媒体信号时面临的一个新的挑战。

与传统的相似搜索方法如穷举法、基于空间分割的方法相比，近似最近邻(Approximate Nearest Neighbor, ANN)搜索凭借着其在实际应用中的高效性吸引了大量的关注。其中，跨模态哈希方法将高维原始特征映射为公共海明空间的二值码，同时保持相似性，从而将相似搜索转化为二值码的按位异或运算，实现了检索效率与精度间一个很好的平衡。现有的跨模态哈希方法，大多是针对监督信息完备的场景设计的，在这样的场景中，标签信息和模态间成对相似度都是完整的。然而，在现实应用中，由于网络多媒体数据数量多、来源广，不同模态数据间往往缺乏明确的一一对应关系，同时，由于对大规模数据进行人工标注代价较高，所以多媒体数据存在不同程度的标签缺失问题。在上述弱监督场景下，现有的跨模态哈希方法得不到足够的信息去构造模态间相似性。

针对弱监督场景，在已有的文献和技术中存在的哈希检索方法主要分为两类，一类是半监督哈希，另一类是弱配对跨模态哈希。现有的弱监督场景的哈希检索方法存在以下问题：（1）基于图的半监督哈希方法采用标记传播框架，能够挖掘到潜在的标签信息，但该框架也带来了复杂的优化问题，且忽略了模态间配对信息不完整的情况。（2）弱配对跨模态哈希方法能够处理不完整的模态间配对信息，但该类方法简单地用模态内邻域关系去近似模态间相似性，而没有解决语义鸿沟的问题。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供基于弱监督哈希学习的多模态检索方法及系统，其能够同时保持模态内的相似结构信息和模态间语义关联信息，具有训练和检索速度快、检索性能高的特点。

为了实现上述目的，本发明采用如下技术方案：

为了解决上述背景技术中存在的技术问题，本发明提供基于弱监督哈希学习的多模态检索方法及系统，其能够充分挖掘和利用弱监督场景下有限的标签信息和配对关系，在一定程度上削弱伪标签中噪声产生的负面影响，提升哈希学习的性能，减少计算复杂度的同时提高检索精度。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供基于弱监督哈希学习的多模态检索方法，其包括：

获取待检索样本，并将其进行哈希码计算；

将待检索样本的哈希码与检索数据库中的哈希码通过0/1异或运算，计算海明距离，并将以海明距离从小到大返回相似数据；

其中，所述检索数据库的构建过程为：

基于模态内成对相似度、模态间成对相似度以及补全的各模态标签信息，建立半监督半配对跨模态哈希的目标函数；