[发明专利]一种基于形状回归的草图图像检索方法

说明书

本发明公开了一种基于形状回归的草图图像检索方法，所述方法包括以下步骤：使用ImageNet图像数据预训练的VGG19网络作为初始化网络；使用Gb边界提取方法，生成草图近似；将Gb轮廓图像和原始图像同时送到初始化网络中进行训练，实现域迁移学习；在初始化网络的分类softmax损失基础上，增加形状回归损失作为网络整体的损失函数，该损失函数的设计有助于挖掘图像和形状之间的潜在一致性；在图像检索的过程中，利用提取出来的草图特征和图像特征基于余弦距离进行匹配和排序。本发明通过引入形状回归损失，利用经过预训练的卷积神经网络，对草图域和图像域进行学习，实现基于形状回归的草图图像检索。

技术领域

本发明涉及图像检索、计算机视觉技术领域，尤其涉及一种基于形状回归的草图图像检索方法。

背景技术

随着互联网技术的飞速发展和多媒体设施的迅速普及，互联网上数字图像数量在飞速增长。如何对数字图像进行高效的查找成为了当下迫切的需求。对图像进行高效检索在人们的日常生活中以及在医学、公共安全及国防、电影工业、数字图书馆、遥感、农业等领域中发挥着重要作用。因此，图像检索技术受到了国内外学者的广泛关注，成为了当下的研究热点。图像检索最初的研究方向主要是基于文本的图像检索技术。基于文本的图像检索即使用文本方式对图像的特征进行描述。随着计算机计算能力的提升，基于内容的图像描述方式逐渐普及。基于内容的图像检索通过对图像内容的分布进行描述来获取图像特征，通过此特征进行检索匹配。图像中纹理、颜色、形状等复杂性是图像检索技术的巨大挑战之一。输入图像和输出检索结果之间的映射匹配关系的构建成为了图像检索的重点研究方向。

以图搜图的图像检索中，用户需要找到一幅和检索意图非常相似的真实图像，这对于普通用户来说也是一个难以获得的输入。更加简单的输入模态，比如简单线条组成的形状，会是一个更加符合用户检索习惯的应用场景，对于检索意图的描述也更加清晰、简单、直观。因此，基于草图的图像检索(Sketch-based Image Retrieval,SBIR)应运而生。近年来，平板电脑、智能手机等触摸屏设备逐渐普及，使用这些触摸屏设备，人们可以方便的对草图进行绘制，这也为基于草图的图像检索技术提供了广阔的平台和应用前景。

传统的SBIR方法使用一些通用特征来描述草图和图像轮廓。许多经典的特征提取方式经过微调就可以应用于草图图像检索任务中。Hu等人提出了基于梯度场的草图特征描述符，然后将它们与词袋模型相结合来进行检索。他们还引入了一个名为Flickr15k的数据集来评估算法，现在这个数据集广泛用于SBIR评估。Zhou等人首先检测图像显著性区域，然后基于该区域的特征进行相似性匹配。上述方法都侧重于为草图和图像轮廓提取相同的特征。然而为两个域设计的公共特征可能不如为某个域设计单独的特征更加具有可分辨性。

深层特征成功应用于诸如图像识别等许多应用。最近在SBIR任务中深度学习方法也被成功应用。许多基于卷积神经网络(Convolutional Neural Network，简称CNN)的SBIR框架被提出。Qi等人引入了孪生网络来对草图和图像边缘进行匹配。联合网络可以缩小属于同一个类的实例特征之间的距离，并将属于不同类的其他实例特征之间的距离拉远。三重CNN使用正样本和负样本作为训练数据来构建样本之间的相似性关系。最近在SBIR上也采用了深度哈希的方法。Liu等人将深度网络模型和哈希方法结合在一起，在训练跨域相似性的同时显著加快了SBIR的速度。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

首先，现有技术的算法没有充分考虑图像和轮廓之间的对应关系，其次，基于草图的图像检索的关键信息是形状信息，现有的算法只考虑了特征的区分性，即仅从特征相似性角度考虑草图和图像的关系，并没有强调形状信息，而形状信息是草图和图像的内在一致性的体现。

发明内容

本发明提供了一种基于形状回归的草图图像检索方法，本发明通过引入形状回归损失，利用经过预训练的卷积神经网络，对草图域和图像域进行学习，实现基于形状回归的草图图像检索，详见下文描述：