[发明专利]一种绘画图像检索方法及装置

说明书

技术领域

本发明涉及图像检索领域，特别涉及一种绘画图像检索方法及装置。

背景技术

随着人们生活水平的不断提高，艺术品爱好者逐年增多。大部分艺术品爱好者知识积累有限，亟需有效的工具帮助其进行艺术品的鉴赏。假设爱好者有一幅绘画作品，但不知该作品的历史和特点。爱好者可以利用图像搜索技术，搜寻到与该作品最相似的作品，从而找到相关的背景知识和专业评论。

目前主流的图像检索方法主要分为两类：基于关键字的方法和基于图像内容的方法。基于关键字的图像检索方法根据用户输入的文字，搜索相似文字关联的图像。由于用户难以对绘画作品进行准确描述，且与文字关联的图像常常风马牛不相及，所以这种方法不适合用在绘画图像检索的场景。基于图像内容的图像检索方法无需文字描述，直接从图像中提取描述图像特点的特征向量，然后利用特征向量之间的差异进行检索。现有的图像特征描述方法一般采用人工设计的方法提取颜色、梯度和纹理信息，如方向梯度直方图(HOG，Histogram of Oriented Gridients)和局部二值模式(LBP，Local Binary Pattern)。这些特征容易受到光照和非线性形变等的影响，使得检索精度难以满足实际需求。

因此，如何克服复杂光照和非线性形变等对绘画图像的影响，进行更精确的绘画图像检索，是有待解决的技术难题。

发明内容

本发明的目的是针对上述现有技术中存在的问题，提供一种基于深度卷积神经网络的绘画图像检索方法及装置。

为了实现上述目的，本发明提出的基于深度卷积神经网络的绘画图像检索方法包括以下步骤：

步骤S1，构建绘画图像训练样本集，所述图像训练样本集中包含同一幅绘画作品对应的多个绘画图像训练样本，并且所述图像训练样本集中的每一绘画图像训练样本的图像类别按精分类和粗分类进行标记；

步骤S2，构建绘画图像特征提取器，基于深度卷积神经网络自动从训练样本集中学习精分类特征和粗分类特征，对深度卷积神经网络进行训练，获得绘画图像训练样本的绘画图像特征向量并存储至绘画图像特征数据库中；

步骤S3，利用构建的绘画图像特征提取器提取待检索绘画图像的特征向量；以及

步骤S4，计算待检索绘画图像的特征向量与绘画图像特征数据库中每一个绘画图像特征向量之间的距离，基于计算出的距离得到图像检索结果。

优选地，所述精分类特征对应于一幅绘画作品的纹理特征，所述粗分类特征对应于绘画作品所属的画种或题材内容种类特征。

优选地，所述基于深度卷积神经网络自动从训练样本集中学习最具区分力的精分类特征和粗分类特征的步骤包括：基于精分类深度卷积神经网络自动从训练样本集中学习精分类特征，得到精分类特征向量；以及基于粗分类深度卷积神经网络自动从训练样本集中学习粗分类特征，得到粗分类特征向量。

优选地，所述获得绘画图像训练样本的绘画图像特征向量的步骤包括：绘画图像特征提取器将精分类特征向量和粗分类特征向量串联后得到绘画图像特征向量。

优选地，所述构建绘画图像训练样本集的步骤包括：对绘画作品进行以下中的一种或多种变换来丰富训练样本：颜色变换、平移变换、尺度变换以及旋转变换。

优选地，本发明使用的深度卷积神经网络的卷积层和池化层对图像的平移、缩放和扭曲等变化高度鲁棒，通过扰动增多训练样本进一步增强了绘画图像特征提取器对光照和形变的鲁棒性。

优选地，所述深度卷积神经网络的神经元采用修正线性单元ReLU函数或双曲正切函数作为激活函数；通过反向传播算法最小化来优化深度卷积神经网络。

本发明还提供了一种绘画图像检索装置，该装置包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行如上所述的绘画图像检索方法中的步骤。

本发明提出一种基于深度卷积神经网络的绘画图像检索方法。本发明所述方法对于提高绘画图像检索系统中图像检索的精度和鲁棒性具有重要的意义，其主要优点如下

(1)本发明使用的深度卷积神经网络方法，自动从训练样本中学习出极具区分力的图像表观特征，避免了传统图像检索方法手工设计特征的局限性。

(2)本发明使用的深度卷积神经网络的卷积层和池化层对图像的平移、缩放和扭曲等变化高度鲁棒，并通过扰动增多训练样本进一步增强绘画图像特征提取器对光照和形变的鲁棒性。