[发明专利]一种基于深度卷积特征和语义相似度量的图像检索方法

说明书

本发明涉及一种基于深度卷积特征和语义相似度量的图像检索方法，属于计算机视觉、图像处理、图像理解等相关领域。首先针对图像集，利用已训练好的深度卷积神经网络模型提取每一幅图像的卷积层特征，对所提的卷积层特征进行聚合表示，然后采用AFS框架对其进行语义描述，在此基础上定义一种基于语义相似的图像相似度度量方法，并依此对图像库中的图像的相似性进行计算，最终通过对相似性的排序完成图像检索任务。本发明能有效解决当前基于底层视觉特征的传统检索方法检索缺乏语义、准确率低的问题，更好地满足用户对基于内容的图像检索的实际需求。

技术领域

本发明涉及一种基于深度卷积特征和语义相似度量的图像检索方法，属于计算机图像检索技术领域。

背景技术

基于内容的图像检索(Content based Image Retrieval,CBIR)一直是计算机视觉领域一直备受关注的研究热点之一。随着互联网时代多媒体信息的剧增，如何从涵盖各类内容的海量图像数据中快速地、准确地检索出符合用户要求的图像，是一个极具挑战的任务。在CBIR中，图像特征提取和图像的相似度度量是两个关键环节。

近年来，随着深度学习技术在图像识别领域的成功应用，卷积神经网络(CNNs)作为一种特征提取方法来获得具有高层语义深度卷积特征，从而达到提高图像检索准确率的目的。但由于该方法要求大量的训练图像，当图像规模较小时，或者当所用以训练模型的图像领域和图像检索的图像领域差别较大时，相比在图像识别领域的卓越表现，CNNs在图像检索应用中还有很大改进和提升的空间。

此外，针对图像相似性度量，传统的图像检索方法大多采用较为常用的距离公式，比如Euclidean、City-Block、Cosine距离等，在所提取的全图像特征空间上，对图像点对之间的距离进行计算，以此得到图像之间的相似性排序来完成检索。显然，这种方法仅考虑图像两两之间的相似关系而忽略图像内部相似结构，不能准确而全面的描述图像之间真正的相似性。

发明内容

本发明提供一种基于深度卷积特征和语义相似度量的图像检索方法，用于提高CBIR中基于传统的图像检索方法的准确率，可在各类规模、涵盖人脸、自然、服饰等图像领域的图像数据集上有效提高检索准确率。

针对传统图像检索方法中特征提取及图像距离度量存在的局限性，本发明通过深度卷积神经网络提取的高层图像特征，并通过嵌入AFS语义表示将原图像特征映射到一个更具高层语义的特征空间，在此基础上本方法代替了传统基于点对的距离度量方法，利用图像近邻和图像近邻之间的语义相似关系来定义两个图像间的相似度，进一步挖掘图像数据隐含的流行结构，从而准确地刻画图像之间的相似性，以达到提高图像检索的准确率的目的。

本发明的具体技术方案是：一种基于深度卷积特征和语义相似度量的图像检索方法，利用已训练好的深度卷积神经网络模型VGG-verydeep-16提取图像的卷积层特征，并通过Sum-pooling方式对所提的卷积层特征进行聚合表示，然后采用AFS框架对其进行语义描述，在此基础上定义一种基于语义相似的图像相似度度量方法，并依此对图像库中的图像的相似性进行计算，最终通过对相似性的排序完成图像检索任务。

假设图像集为X＝{x₁,x₂,…,x_N}中有N个图像样本，所述图像检索方法的具体步骤如下：

Step1、图像特征提取；

针对图像集中的每一幅图像执行Step1.1-Step1.4，具体步骤为：

Step1.1、归一化图像为所用网络模型适合的大小(不同的网络模型所要求输入的图像大小不同)；

Step1.2、将将归一化后的图像送入VGG-verydeep-16网络；

Step1.3、提取VGG-verydeep-16网络中pool5层H*W*L维的卷积特征；