[发明专利]一种实现同时定位和哈希的细粒度图像检索方法

说明书

本发明提供一种实现同时定位和哈希的细粒度图像检索方法，该方法通过同时哈希和定位，可以更好地学习到输入图像的判别性区域以及融合不同尺度的输入信息，提升检索的精度，此外，方法中的哈希和定位模块可以以一种相互促进的方式实现共同训练，并且可以避免传统方法中的人工抽取图像特征，实现了端到端的训练，并且检索的精度大大提升。

技术领域

本发明涉及图像处理算法领域，更具体地，涉及一种实现同时定位和哈希的细粒度图像检索方法。

背景技术

浏览图片。这使得如何高效地检索图片成为一个越来越受关注的问题。基于内容的图像检索(CRIR)的目标是高效、准确地从大规模的数据库中检索出与查询(图片或文字)最相关的视觉内容。

自从上世纪90年代开始，图像检索就引起了学术界以及工业界的广泛关注，而在各种检索方法中哈希类方法以其高效性而成为一类重要技术。从模型的深浅看，图像哈希技术可大致分为传统方法和基于深度网络的方法。传统方法一般需要人工提取图像的特征(比如SIFT特征)，然后基于这些特征来设计算法，这类算法的由于需要人工设计的特征提取的方法难以提取到图像的一个很好的表示而不能达到非常好的检索效果。而自从2012年AlexNet在ImageNet图像识别比赛上取得优异的成绩以来，深度学习在在各个领域得到了广泛的运用和发展，图像检索也不例外，与深度学习结合的图像哈希方法被称为基于深度网络的方法，这类方法直接通过深度神经网络来提取图像的特征，从而避免了人工提取特征，实现了端到端的训练，并且深度学习技术的引入使得图像检索的精确度大大地提升。目前基于深度网络的方法已经成为学术界以及工业界重点关注的技术。

从图像类别之间的差异的大小来看，图像检索又可分为普通(粗粒度)图像检索和细粒度图像检索。粗粒度是指不同类别的图像之间差异明显(比如狗和猫)，一般情况下的图像数据库是粗粒度的。而细粒度是指不同类别的的图像之间差异不明显(比如都是狗，只是狗的品种不同)。相比粗粒度，细粒度的图像检索难度更大。直接运用普通的为粗粒度图像设计的方法来进行细粒度的检索一般不能达到非常好的效果。因此需要针对细粒度的任务设计一些专门的算法，这时一般需要同时考虑不同尺度的特征以及寻找图像的关键区域等。

传统的图像哈希方法大多需要人工提取图像特征，在精确度上存在较大的不足，这时由于人工提取的特征难以很好的表示图片信息。且人工设计提取特征的方法需要专家进行大量的实验，难度较大。

深度学习的引入使得图像检索的精确度得到了巨大的提升，并且避免了人工提取特征的复杂步骤，实现了端到端的之间训练和检索。相比传统的方法，基于深度网络的哈希方法有了很大的进步。但是通常的深度哈希方法适用于粗粒度的数据库，对于细粒度的图像不能达到很好的检索效果。这是由于这些方法都是直接对整张图片进行处理，没有很好地关注到不同尺度的特征，也没有去挖掘图片上的判别区域，而细粒度的图像的不通类别之间的差异就体现在很多细微的地方。

细粒度图像的相关任务近两年开始受到关注，然而目前大多数的工作集中在图像分类任务上，在图像检索领域的研究还较少。目前能找到的一些细粒度图像检索工作虽然有尝试去融合不同尺度的特征或者寻找关键区域，但是他们只是考虑融合网络的不同层的输出或是学习一个权重与原图相乘，做法都还比较直接和简单，效果也不是非常好。

发明内容

本发明提供一种可提升检索的精度实现同时定位和哈希的细粒度图像检索方法。

为了达到上述技术效果，本发明的技术方案如下：

一种实现同时定位和哈希的细粒度图像检索方法，包括以下步骤：

S1：对于一张输入的细粒度图片，首先将其通过共享的特征提取器ResNet-18提取出图像特征，ResNet-18最后一层卷积层的输出的512x7x7的特征作为定位模块的输入；