[发明专利]基于深度学习的高层次语义图像检索方法

说明书

本发明公开了一种基于深度学习的高层次语义图像检索方法，主要解决现有技术从图像语义角度进行检索时存在的语义鸿沟问题。其实现步骤为：1)构建CNN‑RNN网络模型并进行训练；2)使用训练后的网络模型提取图像库中图片的文本特征；3)使用词向量word2vec模型提取文本特征的语义特征向量并存储；4)使用训练后的网络模型提取查询图片的文本特征，并提取其对应的语义特征向量；5)使用余弦法将查询图片的特征向量和图像库中特征向量进行计算比较，并输出结果。本发明能够有效降低语义鸿沟对系统的影响，使系统可从图片的语义信息上实现相似性检索，适用于互联网企业日常的检索业务也可用于嵌入与智能手机中搜索图片。

技术领域

本发明属于图像处理技术领域，进一步涉及基于图像的模式识别技术，具体为一种基于深度学习的高层次语义图像检索方法。可在图像检索过程中，对于查询图片(queryimage)，搜索得到图像库里与查询图片相似的图像并将其输出。

背景技术

在web2.0的今天，每时每刻都会有巨量的图像上传到网络上，尤其随着QQ、微信、微博、淘宝等应用程序的流行。例如淘宝的服务器中就存储着近300亿张图片，相比于文本，图片所包含的信息更为丰富，所以如何在这些巨量的图像数据库中发挥计算机的优势，把人们从繁重的手工工作中解放出来，即快速、准确的检索出用户感兴趣的图片，具有很大的经济价值和现实意义。图片检索技术已成为信息检索领域中的一个研究热点，越来越多的研究人员投入到了这一领域当中。

图像检索是指给定一包含特定内容的图像，然后在图像数据库中找到包含相似内容的图像。但是由于不同的图像在拍摄角度、遮挡、光照等因素的影响下差别较大，如何在上述不可控因素的影响下快速找到想要的图像，极具挑战。

传统的图像检索的方法，大多采用方向梯度直方图HOG(Histogram of OrientedGradient)、尺度不变特征变换SIFT(Scale-invariant feature transform)等模型提取图片的特征向量，然后通过计算特征向量的距离来输出相似的图片，但是通过以上模型智能提取例如形状、姿态等某种类型的特征时，容易受到噪声的影响，且计算速度慢、实时性差、检索精度不高，所以亟待新的研究方法问世。

近年来，随着大数据、深度学习研究的发展，卷积神经网络CNN已成为当前语音分析和图像识别领域的研究热点，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统图像检索算法计算量大、速度慢的缺点。

因为CNN等的快速发展，大量基于卷积神经网络的图像检索算法被提出，其中最经典的算法当属基于CNN和哈希算法的图像检索方法Deep Supervised Hashing for FastImage Retrieval(Haomiao Liu,Ruiping Wang,Shiguang Shan,Xilin Chen；The IEEEConference on Computer Vision and Pattern Recognition(CVPR),2016,pp.2064-2072)，它有效的提取了图像的特征向量，并且降低了特征向量的维度，有很好的速度和精度。因此，随后在CNN+哈希编码的基础上出现了许多改进的算法，但是，该方法也存在缺点，就是图像检索中的“语义鸿沟”问题一直没有得到彻底的解决，即不能从图片语义的角度去检索相似的图片。

广东工业大学申请的专利“一种多特征融合的外观设计专利图像检索方法”(专利申请号：CN2010101913413A，公开号：CN101847163A)中提出一种图像检索的方法，包括在特征提取方面采用将整体特征和局部特征相融合的办法，此阿勇边界方向直方图算法和结构特征描述形状特征，采用Gabor滤波算法和分类特征统计提取纹理特征，图像检索的过程中首先采用几何特征进行比较，根据阈值对图像筛选，其次用形状特征和纹理特征进行相似度匹配，将图像按相似度大小排序返回。该方法存在的不足之处是：由于采用了多种特征融合的方式，特征向量维数高、计算时间长，且实时性差。