[发明专利]一种基于深度学习的手绘草图以图搜图方法

权利要求书

1.一种基于深度学习的手绘草图以图搜图方法，其特征在于：包括以下操作步骤：

S1：利用训练边缘特征提取器构建一个神经网络用于提取图像边缘，通过边缘特征数据进行训练，之后该神经网络可以作为图像边缘信息提取器提取图像的边缘的信息；

S2：利用获取深度特征提取器通过训练或者直接使用预训练的深度神经网络，将其中间层的特征作为深度特征；

S3：将图像数据库中的图片输入边缘特征提取器获得边缘特征，再将该边缘特征输入深度特征提取器，得到一张图像的线条特征表示向量，通过图像特征持久化服务进行储存，用图片ID进行索引；

S4：通过读取图像特征持久化服务的数据，将待搜索的图像边缘深度特征向量进行二值化压缩后缓存到以图搜图引擎中；

S5：进行搜索请求时，将用户输入的手绘草图送入特征提取器，得到线条特征表示向量，用该特征向量以及所需要的最相似图片数量向以图搜图引擎进行请求，以图搜图引擎获得特征向量之后进行二值化处理，然后将该特征与缓存中的图像特征进行相似度计算，将相应请求数量的最相似的图片ID按相似度进行排序后向图像数据库进行请求，通过ID索引图片之后将结果返回给请求者。

2.根据权利要求1所述的一种基于深度学习的手绘草图以图搜图方法，其特征在于：该搜图方法基于一种搜图系统，所述搜图系统包括图像数据库、深度特征提取器、图像边缘特征提取器、图像特征持久化存储服务和图像特征搜索引擎。

3.根据权利要求1所述的一种基于深度学习的手绘草图以图搜图方法，其特征在于：所述获取深度特征提取器的编码特征需要具有良好的内容表示能力，能将图片之间的相似性映射为欧式度量下的距离大小。

4.根据权利要求1所述的一种基于深度学习的手绘草图以图搜图方法，其特征在于：所述S1)中利用训练边缘特征提取器提取图像边缘，包括以下操作步骤：

S11：下载边缘检测数据集，依照HED网络搭建多层深度卷积网络；深度卷积网络包含大量的卷积层，最后一层输出单通道包含图像边缘特征的图片；

S12：裁剪、缩放图片以满足网络的输入要求，这里要求输入长款比为1比1的固定尺寸；

S13：采用Adam优化器，采用平方误差函数作为损失函数训练深度神经网络；平方误差函数表示为：

其中，output代表网络的输出，true_edge代表人工标注的真实图像边缘。

5.根据权利要求1所述的一种基于深度学习的手绘草图以图搜图方法，其特征在于：所述S2)中采用VGG16深度神经网络中间特征层作为深度特征提取器，包括以下操作步骤：

S21：获取在ImageNet数据集上预训练的VGG16神经网络；

S22：去掉其非线性分类器，直接输出其中间层编码特征，得到的深度特征为属于R¹的向量。

6.根据权利要求1所述的一种基于深度学习的手绘草图以图搜图方法，其特征在于：所述S3)中对于深度特征向量的每个分量，大于0的置1，小于等于0的置0；构建定长比特数组，在相应的比特位上置1或者置0，得到压缩的特征表示作为输出。

7.根据权利要求1所述的一种基于深度学习的手绘草图以图搜图方法，其特征在于：所述S5)中在搜索引擎中进行图像相似度计算，包括以下操作步骤：

S51：将该特征进行二值化后与缓存的图片特征进行按位异或运算；统计结果中比特位上1的个数，得到该请求图片与缓存图片的汉明距离，将图片ID按距离排序；

S52：请求时，所需求的图片数量n会作为参数传入，搜索引擎取距离最小的前n张图片的ID输出；

S53：搜索引擎根据输出的图片ID向图片数据库查询图片地址，并根据图像类别进行归类和聚合，最终将图片地址返回给请求者。

8.根据权利要求4所述的一种基于深度学习的手绘草图以图搜图方法，其特征在于：所述Adam优化器，其迭代更新规则为：

m_t＝β₁m_t-1+(1-β₁)g_t

其中β₁＝0.9，β₂＝0.999，∈＝10^-8。