[发明专利]一种基于多任务学习深度语义哈希的快速图像检索方法、模型及模型构建方法

说明书

本发明提供了一种基于多任务学习深度语义哈希的快速图像检索方法、模型及模型构建方法，基于分类任务可以提高哈希码的判别性及聚合性和检索任务可以保留哈希码的语义相似性，将分类任务与检索任务融入只有一个输出的单流(one‑stream)框架里，充分利用语义监督信息，以提高哈希码的紧致性、判别性及保留哈希码的语义相似性；本发明方案构建了单流(one‑stream)网络框架，结合多任务学习的方法，提高了哈希检索性能。

技术领域

本发明涉及一种基于多任务学习深度语义哈希的快速图像检索方法、模型及模型构建方法，涉及图像检索领域。

背景技术

互联网及移动终端设备的普及带来了多媒体数据(图像、文本、语音及视频等)的快速增长。面对如此大规模的数据，如何有效地存储、分析和管理这些数据成为了极具挑战的问题。如何设计一种可以用于大尺度图像语义检索任务的高效检索算法成为了一个热门的研究问题。在检索任务中，传统的实值描述符如词袋(BoW)、颜色直方图、空间描述符(GIST)等等需要消耗大量的内存及计算资源。为了解决基于实值的大规模图像检索问题，提出了一些基于树的方法，例如kd-tree和R-tree。然而，因为维度灾难的存在，相似性检索效率随着数据维度的增加而减少。

为了减少维度灾难的影响，一些早期的数据独立哈希方法如局部敏感性哈希(LSH)采用随机线性投影的方法将高维空间的实值描述符投影到低维的哈明空间。这类哈希方法的主要缺陷是在短的码长检索性能不能令人满意。为了学习更加有效和紧致的哈希码，一些研究者通过机器学习的方法设计了一些数据独立的哈希方法学习哈希函数。现有的数据独立的哈希方法可以大致分成两种：无监督的哈希方法和有监督的哈希方法。无监督的哈希方法利用样本的内在数据特性而没有利用任何标签信息学习二值码。其中代表性的哈希方法包括谱哈希(SH)、迭代量化(ITQ)、各项异性哈希(IsoH)、锚点图哈希(AGH)等等。这类方法的缺点是在实际应用中很难取得满意的检索性能。为了提升哈希的性能，监督的哈希方法将标签信息引入学习模型。代表性的监督哈希方法包括核监督哈希(KSH)、监督离散哈希(SDH)，深度成对监督哈希(DPSH)、深度语义排序哈希(DSRH)、深度三元监督哈希(DTSH)、深度监督离散哈希(DSDH)等等。

最近，基于深度学习的哈希方法：DPSH、DSRH、DTSH和DSDH展示了比传统的哈希方法SH、ITQ、IsoH、AGH、KSH和SDH更好的性能。主要是因为深度的哈希方法可以以一种端对端的框架同时执行特征学习和哈希码的学习。而传统的哈希方法分离了这两个过程，导致学习到的哈希码不能与提取的特征最优的兼容。尽管这些深度的哈希方法取得了较好的性能，但是这些方法要么设法在只有一个输出单流(one-stream)框架里解决单个检索任务(DPSH和DTSH)，要么在有两个输出的双流(two-stream)框架里联合解决检索任务和分类任务(DSRH)。前者利用成对的约束或者三元的约束生成相似性保留的哈希码。然而，数据以类别标签形式(特别是当数据具有多个语义标签)的基本语义结构被忽略了。后者构建了一个哈希流用于相似性保留以及一个分类流用于语义保留。然后，分类流不是直接引导哈希函数的学习而是引导图像表示的学习。结果是现有的深度学习方法中的语义信息并没有充分用于生成紧致及判别性的哈希码。

发明内容

本发明提供一种哈希检索性能更高的，基于多任务学习深度语义哈希的快速图像检索方法、模型及模型构建方法，提高了哈希码的紧致性、判别性及保留哈希码的语义相似性。

根据本发明提供的一种基于多任务学习深度语义哈希的快速图像检索模型构建方法，具体方法包括，

S1，收集大量的训练图片，并进行图片类别标注；调整所有图片的大小到一个固定尺寸；将整个数据库随机划分成三个集合：查询集、数据库集和训练集。

S2：构建一个哈希学习网络，对所构建的哈希学习网络进行参数初始化；在哈希学习网络的最后添加损失层。网络的损失函数J定义如下：

J＝NJ_cl+λJ_re