[发明专利]一种基于显著对象的图像检索方法及系统

说明书

技术领域

本发明属于图像检索领域，更具体地，涉及一种基于显著对象的图像检索方法及系统。

背景技术

随着可获取图像数据量的急剧增加，对图像检索的应用需求不断提高，如何从海量图像数据快速有效地实现感兴趣目标的检索，近年来一直是计算机视觉领域的研究热点，得到来自科研人员和商业机构的关注，在医学、遥感、社交媒体、电子商务、交通、刑侦等领域均有广泛应用。基于内容的图像检索能够克服单纯基于文本的图像检索在主观性和歧义性方面的缺点，而图像内容的描述和提取是决定基于内容的图像检索性能最关键的因素。图像主要包括显著对象和背景两部分，例如在草地上拍摄狗得到的图像，图像中狗为显著对象，草地为背景。显著对象所属的种类可称为语义类别，例如显著对象为狗的图像的语义类别为狗，显著对象为马匹的图像的语义类别为马匹等。

在包含显著对象的图像中，若图像显著对象语义类别相同但是背景不同，则背景会对图像视觉特征的计算产生干扰。研究者们尝试利用图像显著性来解决这一方面的问题，比如融合视觉显著性到图像视觉计算中，尽管在一定程度上可以抑制背景的干扰，但是会增加特征计算复杂度，并且不能完全消除背景的干扰。

由图像低视觉特征与高层语义之间的语义鸿沟会造成图像检索准确度降低。采用词袋模型缩小语义鸿沟的思路是，通过创建图像特征与视觉词汇之间的映射来构造图像特征描述子，但是由于提取视觉词汇是基于整幅图像，这样容易引入噪声。另外，随着深度学习的发展，利用深度学习网络的特征学习能力获取图像深度特征来实现检索的研究也取得了一定的成果，但是直接由深度网络获取的图像特征维度较大，在进行特征匹配时计算量大、耗时长。

综上，现有图像检索方法中，图像语义类别相同时背景的干扰以及图像低层视觉特征与高层语义之间的语义鸿沟均会造成图像检索的准确度降低。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有检索方法中，图像语义类别相同时背景干扰和图像低层视觉特征与高层语义之间的语义鸿沟等均会使得图像检索的准确度降低的技术问题。

为实现上述目的，第一方面，本发明实施例提供了一种基于显著对象的图像检索方法，包括：通过对包含显著对象的查询图像进行显著性检测，确定所述查询图像的显著对象所在的区域；确定所述查询图像的显著对象所在的区域的视觉特征；确定所述显著对象的语义类别；将所述查询图像的显著对象的视觉特征与图像库中相同语义类别的图像的显著对象的视觉特征进行相似度度量，确定所述图像库中与所述查询图像的相似度大于相似度阈值的图像。

本发明实施例通过提取显著对象的视觉特征，并基于显著对象的视觉特征进行图像检索，减少了背景干扰，提高了图像检索的准确度，通过判别显著对象的语义类别，仅对图像库中相同语义类别的图像进行检索，缩小了检索目标范围，在降低图像检索的复杂度的同时，有效提高了图像检索的准确度。

可选地，通过对包含显著对象的查询图像进行显著性检测，确定所述查询图像的显著对象所在的区域，包括：通过对包含显著对象的查询图像进行多尺度下的显著性检测，对每一层尺度下的查询图像进行超像素分割，分割后的每一块为一个超像素，所述多尺度通过图像金字塔实现；根据每一层尺度下的每一个超像素与邻近超像素的色彩对比度和空间对比度确定该层尺度下的显著图；通过对每层尺度下的显著图融合得到所述查询图像的显著图；通过对所述查询图像的显著图进行自适应阈值分割确定所述查询图像的显著对象所在的区域。

可选地，确定所述查询图像的显著对象所在的区域的视觉特征，包括：所述视觉特征包括颜色特征、纹理特征以及关键点特征中的至少一种；所述颜色特征包括HSV直方图特征、颜色矩特征以及颜色相关图中的至少一种，所述纹理特征包括Gabor变换特征和小波矩特征。

可选地，本发明提供的图像检索方法还包括：通过对图像库中的每幅图像进行显著性检测，确定图像库中的每幅图像的显著对象所在的区域；确定所述图像库中每幅图像的显著对象所在的区域的视觉特征；通过对每幅图像的显著对象所在的区域进行训练得到网络分类器，所述网络分类器用于确定图像中显著对象所属的语义类别。

可选地，确定所述查询图像的显著对象的语义类别，包括：通过将所述查询图像的显著对象输入至所述网络分类器，确定所述查询图像的显著对象的语义类别。