[发明专利]一种基于显著性区域的图像检索方法

说明书

本发明公开了一种基于显著性区域的图像检索方法，通过提取待检索图像的显著性区域，并对显著性区域进行描述和池化编码等处理，提取出待检索图像的局部CNN特征和全局CNN特征，再通过待检索图像的全局CNN特征和局部CNN特征在检索图片库中进行相同类别和相同物体的检索，提高了图像检索的准确性。

技术领域

本发明属于图像检索技术领域，更为具体地讲，涉及一种基于显著性区域的图像检索方法。

背景技术

基于内容的图像检索技术(CBIR，content-based image retrieval)指的是用于搜索的对象本身就是一幅图像，或者是对于图像内容的特征描述。现存的大多数方法采用的是图像的底层视觉特征，如sift描述子，以及使用bag-of-words(BoW)、Fisher vectors(FV)或者vector locally aggregated descriptors(VLAD)对sift描述子进行编码。但大多数的传统图像检索算法性能还不能满足人们的要求。究其原因，主要是底层特征和高层特征语义理解之间的差异，即语义鸿沟。

随后，CNN在图像识别领域取得了巨大的成功，全局CNN特征作为一种高层的语义表示，开始用于其它的识别任务并表现优异。Razavian研究了全局CNN特征的特点，将其用于不同的图像识别任务，包括图像检索。Yandex提出了使用目标数据集微调CNN并提取fc6层特征用于图像检索，并取得了最优的效果。Kevin Lin利用哈希编码将fc6层特征处理成二进制序列，大大提高了检索效率。但是，训练CNN的目的是面向分类任务的，全局CNN特征包含太多的与分类任务相关的高层语义信息，往往会忽略图片中的细节。

近来，一些研究开始关注于图片的细粒度特征，用以改善全局CNN特征。JiangWang提出使用Triplet来增加类内相似度和类间的区分性，并使用一个多尺度的网络，来增加图片中的局部细节信息。Qiang Chen提出了一种自适应的区域检测方法来消除街拍服装图片和商店服装图片的的差异，并利用属性数据集来挖掘服装的细粒度属性。Julien提出了CKN网络来提取图片的局部变性特征。Mattis将无监督训练的CKN网络提取图片的局部卷积特征用于图像检索任务中。

然而这些方法都是从识别图像的角度来挖掘图像当中的属性，而不是理解图像的角度来挖掘图像当中的属性，检索准确率仍有待提高。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于显著性区域的图像检索方法，通过全局CNN特征和局部CNN特征来进行相同类别和相同物体的检索，提高了图像检索的准确性。

为实现上述发明目的，本发明一种基于显著性区域的图像检索方法，其特征在于，包括以下步骤：

(1)、提取输入图像的显著性区域

(1.1)、将图像库中任意一幅图像作为输入图像，输入图像为RGB图像，且宽为W、高为H；

(1.2)、利用CNN+RPN+LSTM模型提取输入图像的显著性区域；

(1.2.1)、将输入图像输入至CNN网络，CNN网络将其变成C×W'×H'的特征图集合，其中，C表示特征图集合图像个数，W'×H'表示特征图集合中图像的宽和高；

(1.2.2)、将特征图集合中的图像输入至RPN定位层，得到包含显著性区域的中心点信息(x,y)、显著性区域的宽和高(w,h)，以及区域评分和区域特征的显著性区域；

(1.3)、按照步骤(1.2)所述方法，提取出图像库中其余输入图像的显著性区域；

(2)、构建检索特征库

(2.1)、提取输入图像的局部CNN特征；

(2.1.1)、利用显著性区域的区域特征生成特征矩阵；