[发明专利]一种基于缺失多模态哈希的社交图像检索方法及系统

说明书

本公开提供了一种基于缺失多模态哈希的社交图像检索方法及系统，通过为完全成对数据学习一个共享潜在表示，为缺失数据学习一个独特潜在表示，探索图像与标签不同模态之间的关系，构造了一种同时适用于完全成对数据和缺失数据的在线哈希检索模式，通过设计新的离散优化策略，直接求解哈希码，有效地降低了现有技术中松弛策略的量化误差，提高了检索的性能；在无监督的缺失多模态哈希方法的基础上，将其扩展到监督学习模式，利用非对称哈希学习方法来指导投影学习过程，提高了哈希码的识别能力，通过直接求解二进制哈希码，速度快，操作简单，保证了学习效率。

技术领域

本公开涉及多模态检索技术领域，特别涉及一种基于缺失多模态哈希的社交图像检索方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

随着移动互联网技术的快速发展，越来越多的人喜欢将自己的照片上传到社交网站。社交网站允许用户主动上传带有描述性标签的图片和注释，已经成为互联网时代最普及、用户参与度最高的互动平台。然而，社交图像的爆炸式增长也导致了一个巨大的挑战，如何从庞大的社交图像数据库中进行有效的图像检索。

多模态哈希能够将来自不同模态的多模态特征编码成紧凑的二进制码，有着检索速度快，存储开销小，能够有效的支持大规模的社交图像检索的优点，因此获得了越来越广泛的关注和应用。与单模态哈希和跨模态哈希不同，多模态哈希在训练阶段和查询阶段探索不同模态间的协同性，从而得到有效的哈希码。现存的多模态哈希方法可以分为两大类：无监督多模态哈希和监督多模态哈希。前者要么通过谱分析的方法将单模态哈希方法扩展到多模态设置，要么通过利用多模态矩阵分解获得潜在隐二进制编码，在此过程中不依赖任何监督信息。后者主要通过标签或成对语义指导提高哈希码的识别能力。

本公开发明人在研究中发现，尽管多模态哈希方法已经取得了很好的性能，但仍然存在一个重要的问题，即在多模态哈希方法的训练和查询阶段都需要提供多模态数据。现存的多模态哈希方法简单地假设所有的数据样本模态在整个训练和搜索阶段都是可用的。然而，这一限制性要求在社会图像检索中很难得到满足，因为社交图像和描述性标签很难保证是成对的。在现实社会网络中，缺乏标签描述的图像和缺乏相应图像的文本标签是非常常见的，这就导致了缺失模态数据的产生。在这样的情况下，现有的多模态哈希方法便不能很好的解决这一问题。

发明内容

为了解决现有技术的不足，本公开提供了一种基于缺失多模态哈希的社交图像检索方法及系统，通过为完全成对数据学习一个共享潜在表示，同时为缺失数据学习一个独特潜在表示，来分析图像与标签之间的关系，从而生成哈希码，解决了现有技术中进行社交图像检索时存在的缺乏标签描述的图像和缺乏相应图像的文本标签而导致的检索不准确问题。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种基于无监督缺失多模态哈希的社交图像检索方法。

一种基于无监督缺失多模态哈希的社交图像检索方法，包括以下步骤：

获取多模态检索数据，构造训练集、测试集和数据库集，每个样本均包括成对的图像和文本两个模态的数据，并对训练集、测试集和数据库集分别构造缺失数据集；

将训练集中的两个模态的原始数据分别输入到所构建的深度特征提取模型中进行多模态提取，将提取后的多模态特征利用高斯核函数映射到低维空间进行非线性特征表示；

根据非线性特征表示的训练集的多模态特征，构造训练集的基于无监督缺失多模态哈希的目标函数；

采用迭代求解算法求解上述目标函数，得到社交图像和文本的基矩阵与转换矩阵；