[发明专利]基于可变形卷积与深度网络的手绘草图检索方法

说明书

本发明属于计算机视觉与深度学习领域，具体公开了一种基于可变形卷积与深度网络的手绘草图检索方法，该方法包括如下步骤：S1、获取手绘草图与自然彩图数据库S2、将自然彩图通过边缘检测算法转换成边缘图S3、通过形态学操作对手绘草图和边缘图进行预处理S4、训练基于可变形卷积的深度网络S5、使用训练好的深度网络分别提取手绘草图与自然图像边缘图的深度特征S6、计算特征之间的相似度并返回检索结果。本发明方法的有益效果是：在传统神经网络中融入可变形卷积，能够打破标准卷积在手绘草图上的限制，提高网络对手绘图像提取特征的鲁棒性，减少特征冗余。本发明提出的网络结构能够大大提高手绘草图的检索精度。

技术领域

本发明属于计算机视觉与深度学习领域，涉及基于可变形卷积与深度网络的手绘草图检索方法。

背景技术

手绘草图检索是基于内容的图像检索技术的一种，研究表明，手绘图片拥有与真实图片相同的机制来激活人类大脑皮层的视觉区域。与基于文本的图像检索以及传统的基于自然彩图的图像检索相比，手绘图具有易于获取、抽象概括性强、不受语言文化限制等优点，而且随着触屏手机、触屏平板电脑等可触屏设备的数量日益庞大，手绘图像的获取愈加容易，基于手绘草图的图像检索目前正得到越来越多的关注并具有广阔的应用前景。比如商业上在线商城使用手绘图检索商品，安防上使用画像追凶等等。

由于手绘草图与自然彩图在视觉上具有很大的鸿沟，可以认为他们来自不同的域，因此基于手绘草图的图像检索是一项具有挑战性的任务。目前手绘草图检索主流的思路是先通过边缘检测等算法将自然彩图转化成类手绘图，然后设计手工特征(HOG,ShapeContext,HELO等)或者使用神经网络提取深度特征来进行相似性度量，按相似性排序返回检索结果。

与自然图像相比，手绘图像没有丰富的背景、颜色与纹理信息，仅仅由表示物体轮廓与骨架的稀疏线条组成，也即，自然图像属于信息密集型图像，其每一个像素点都代表了图像的部分信息，而手绘草图仅仅在特定位置的像素(代表线条的像素)才会提供有效信息。在用深度神经网络提取特征时，当前主流的神经网络均使用规则卷积进行特征提取，规则卷积对于信息密集的自然图像非常有效，但是对于手绘草图而言会提取到大量的无用特征并且存在严重冗余，也即，传统的神经网络结构并不能很好地适用于手绘草图。

因此，有必要设计一种更适合于对手绘草图进行特征表达的网络结构，以提高手绘草图检索的精度。

发明内容

本发明的目的在于提出一种基于可变形卷积与深度网络的手绘草图检索方法，其采用如下方案：

1、基于可变形卷积与深度网络的手绘草图检索方法，其特征在于，包括以下步骤：

s1、获取待检索的手绘图像和数据库中的自然图像；

s2、通过边缘检测算法对自然图像进行边缘检测得到类手绘图，即边缘图；

s3、通过形态学操作分别对手绘草图和边缘图进行预处理；

s4、训练基于可变形卷积的深度网络；

s5、利用训练后的深度网络分别提取手绘图像和边缘图的深度特征；

s6、对提取到的手绘草图特征和边缘图特征进行相似度计算并得到检索结果。

2、步骤s1中，采用的手绘图像和自然图片来自于公开数据集Flickr15k，该数据集是用于手绘草图检索的权威数据集，包含330张由非专业的绘图人员所绘制的手绘草图，以及14490张彩色自然图片。

3、步骤s2中，通过边缘检测算法，例如Berkeley边缘检测算法将自然彩图转换为边缘图，即类手绘图。

4、步骤s3中，通过图像处理中的形态学操作对手绘图与边缘图进行预处理以减少噪声干扰，进一步包括：

s31、通过膨胀操作对手绘草图进行处理，凸显线条轮廓，增强手绘草图的结构性；