[发明专利]基于自监督对抗哈希算法的大规模图像检索方法

说明书

本发明提供了一种基于自监督对抗哈希算法的大规模图像检索方法。本发明提出了一种新的哈希学习框架，称为自监督对抗哈希；该框架主要利用基于图像旋转的自监督相似度量和生成对抗网络来学习区分性哈希码。本发明的神经网络模型主要包括一个获取哈希码的编码器、一个生成伪图像的生成器和一个区分真假图像的判别器；设计一个由近似语义相似性损失、特征损失和对抗性损失组成的损失函数来保持图像和哈希码之间的相似性。通过在整个模型中加入自监督特征，忽略底层语义信息，保持高层语义信息；特别是对于短hash码，可以更好地维护图像的高层语义信息。实验结果表明，本发明提供的图像检索方法与现有的检索方法相比，具有更好的图像检索性能。

技术领域

本发明属于深度学习技术领域，具体涉及一种基于自监督对抗哈希算法的大规模图像数据检索方法。

背景技术

哈希算法由于其低的存储要求和高的搜索效率，在解决大规模图像检索问题方面受到越来越多的关注；且根据是否使用图像标签可分为有监督哈希和无监督哈希，通常有监督的哈希方法比无监督的哈希方法性能更好。然而，在大多数情况下，数据集中没有对图像有用的标签信息，手动标记需要大量人力。针对该问题，已经有不少研究者尝试了改进方法。例如，Gidaris等人提出了一种基于图像旋转的自监督方法；然而，这会导致旋转前后图像的特征表示不同。虽然Misra等人解决了这个问题，但是他们没有将原始空间中相似图像的相似矩阵映射到特征空间。

随着深度学习的兴起，深度学习算法可分为两类：有监督学习和无监督学习。有监督学习算法以其较高的精度受到人们的青睐。然而，手工标记的标签不容易获得，而且需要大量人力资源。因此，近年来，无监督学习算法受到越来越多的关注。自监督学习是无监督学习中的一种流行选择，它的流行是不可避免的。在所有主流的有监督学习任务成熟之后，数据成为最重要的瓶颈。而从未标记数据中学习有效信息一直是非常重要的研究课题，自监督学习提供了非常丰富的想象力。

发明内容

本发明的目的是提供一种基于自监督对抗哈希算法的大规模图像检索方法，以弥补现有技术的不足。

为达到上述目的，本发明采取的具体技术方案为：

一种基于自监督对抗哈希算法的大规模图像检索方法，包括以下步骤：

S1：获取图像数据，包括训练集和测试集；

S2：利用训练集，对编码器进行优化；

S3：将测试集图像数据旋转后输入到S2优化后编码器中得到哈希码；

S4：计算所述S3得到的哈希码与所述S2训练集的哈希码的汉明距离，并按从小到大排序，输出前k个检索结果，完成检索。

进一步的，所述S2中：所述编码器使用类似于VGG19的结构，包括五个卷积层、两个完全连接层和一个哈希层；为了进行特征比较，在最后添加了一个全连接层；利用图像邻域结构之间的关系，即哈希码B与语义相似度矩阵之间的关系，提出以下目标函数l_s来学习哈希码，以尽可能接近投影空间中的原始数据分布：

其中，L是哈希码的长度，S是相似度矩阵，E表示该目标函数对编码器进行优化，编码器用于生成哈希码优化l_s可以使原始空间中的相似图像在映射到哈希空间时具有相似的哈希码。

进一步的，所述S2中的编码器优化具体包括：

S2-1：得到训练集图像的特征向量，计算图像之间的余弦距离并排序，得到相似性排名；

S2-2：分析所述相似性排名并设置阈值，得到相似度矩阵；

S2-3：将训练集图像旋转后输入到所述编码器中得到哈希码；

S2-4：将所述哈希码输入到生成器中得到伪图像；