[发明专利]基于语义迁移的弱监督深度哈希社交图像检索方法和系统

说明书

本公开提供了一种基于语义迁移的弱监督深度哈希社交图像检索方法和系统。本公开将特征学习和哈希函数学习整合到一个统一的深度框架中，首先，通过锚点图哈希实现图像视觉相似性保存，其次，利用社交图像所附有的用户标签，通过两个层次的语义迁移，学习语义增强的哈希码。在这个框架中，图像视觉相似性保存和两个层次的语义迁移可以指导特征表示和哈希函数的学习，改进后的深度表示和哈希模型有利于视觉相似性保存和语义的迁移，两者相互促进。另外，本公开提出了基于增广拉格朗日乘数法的离散哈希优化方法，在没有量化损失的前提下，通过快速的哈希码求解操作直接求解哈希码。

技术领域

本公开涉及多媒体信息检索领域，具体涉及一种基于语义迁移的弱监督深度哈希社交图像检索方法和系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着互联网技术的快速发展，每天都有数以亿计的社交图像被上传到各种社交网站，社交图像呈现出爆炸式的增长趋势，如何对海量的社交图像进行快速高效的检索已成为信息检索领域中一个重要且亟需解决的问题，哈希方法检索速度快，存储开销小，在该问题上获得越来越广泛的关注和应用。

现有的哈希检索方法可以分为两大类：有监督哈希和无监督哈希。有监督哈希需要使用显式的语义标签获取哈希码，然而，在实际的社交图像检索环境下，获取高质量的图像语义标签将耗费巨大的人力、物力和财力，此外，过分依赖图像语义标签会影响检索系统的可扩展性。无监督哈希利用图像的视觉特征获取哈希码，不依赖于任何监督标签，具有更理想的可扩展性，但是，图像视觉特征仅包含有限的语义信息，由于汉明空间的嵌入，基于图像视觉特征生成的哈希码所包含的语义信息将变得更加有限，语义信息的不足将直接降低社交图像检索的精度。

社交图片通常附有用户提供的标签信息，这些用户标签在语义上与图像内容相关，可以作为一个重要的语义源来提高哈希码的识别能力。根据社交图像的这一特性，语义感知哈希(SAH)在学习哈希码的过程中考虑保存用户标签所包含的语义关联信息。弱监督多模态哈希(WMH)同时考虑用户标签所包含的语义关联信息和视觉图像的局部判别结构与几何结构。虽然这些研究工作对社交图像哈希进行了先行探索，但仍存在以下问题：特征表示和哈希函数学习被分成两个相互独立的过程，使得视觉特征与后续编码过程不能最佳兼容；使用线性哈希函数，学习到的哈希码表达能力有限；直接利用用户标签进行哈希学习，标签中的噪音会影响检索性能；另外，采用“松弛+量化”两步优化策略求解哈希码，求解过程存在信息损失，不能有效保存图像语义结构。基于用户标签的弱监督哈希提出了一种由弱监督训练阶段和监督微调阶段组成的深度哈希框架，在监督微调阶段，该方法使用有标签的数据来辅助哈希码的学习，所以它具有与有监督哈希相同的有限的可扩展性。

虽然已经有以上哈希社交图像检索方法被提出，但仍然存在前面提到的几个缺点，方法有待改进。提高方法性能的关键在于：将特征表示和哈希函数学习整合到一个统一的深度框架中，去除用户标签中存在的噪音，更好保存原始数据之间的语义相关性。同时，使用离散优化策略直接求解哈希码，降低信息损失，从而获取更具判别性的哈希码。

发明内容

为了解决现有技术的不足，本公开提出基于语义迁移的弱监督深度哈希社交图像检索方法和系统。通过锚点图哈希实现图像视觉相似性保存，利用社交图像所附有的用户标签，基于两个层次的语义迁移，学习语义增强的哈希码，将特征表示和哈希函数学习整合到一个统一的深度框架中，在这个框架中，图像视觉相似性保存和两个层次的语义迁移可以指导特征表示和哈希函数的学习。

为了实现上述目的，本公开采用如下技术方案：

本公开第一目的是提供一种基于语义迁移的弱监督深度哈希社交图像检索方法，包括如下步骤：

获取待检索的社交图像，以及获取社交图像的图像标签，构造包含图像标签的图像数据库，并划分为训练集、测试集和数据库集；

构建深度哈希模型并进行网络参数初始化；