[发明专利]一种基于草图的图像检索方法

说明书

本发明公开了一种基于草图的图像检索方法，所述方法实现了从图像域到草图域的域迁移学习，网络能够输出适应草图域的具有区分性的有效特征，方法包括以下步骤：提取图像Canny边缘，用作网络训练数据；基于ImageNet百万数量级图像的网络预训练；将图像的Canny边缘送入网络进行训练，实现域迁移学习；将草图和图像的Canny边缘送入训练好的网络，分别提取特征；计算提取到的特征间的余弦距离并进行排序，实现K最近邻检索。本方法充分弥补了网络在训练过程中草图数据的不足，提升了草图训练的效果，减小了草图和图像之间的跨域差距，取得了良好的检索效果。

技术领域

本发明涉及图像检索、计算机视觉技术领域，尤其涉及一种基于草图的图像检索方法。

背景技术

互联网媒体图像数据急剧增加，高效准确的图像检索技术成了迫切的需要。早期的基于文本的检索方式存在着依赖人工标注、具有歧义性等缺点，无法适用于大规模图像检索。因此，基于内容的图像检索成了研究热点。在基于内容的图像检索中，基于草图的检索可以较方便、直观的表达出用户意图，受到了广泛关注。随着触屏设备的普及，手绘草图的绘制越来越便捷，手绘草图可以精确表达用户的检索意图，因此基于草图的图像检索具有十分重要的研究意义。

基于文本的图像检索技术根据对图像的文字描述来进行检索，这些描述包括：图像颜色、名称、主题、内容等信息。文本和图像是属于不同的输入域，所以无法直接对文本和图像进行相似度匹配度量。因此，这种检索方式往往需要对图像进行大规模的人工标注，然后通过输入文本与标注的文本信息进行匹配，来获得排序好的检索结果的输出。这种方法简单有效，具有较快的检索速度，但是同时也有一定的缺陷：图像的文本描述需要人工标注，互联网图像数据在飞速增长，对图像进行人工标注的速度远低于图像数量的增长速度，因此这种方式不可持续；其次，很多时候关键字往往不能精确的描述用户的检索意图；再次，人工标注的过程会引入标注者的主观判断，不同的标注者对图像的认知不同，这样对图像的理解就会产生一定的歧义。由于基于文本的图像检索存在以上问题，基于内容的图像检索技术逐步开展，受到了广泛关注。

基于内容的图像检索的基本原理是对图像的整体内容进行分析，使用算法提取和图像内容相关的特征，最后通过这个特征进行检索匹配。当用户输入一幅查询图像时，计算机对查询图像进行特征计算，将计算好的特征和图像库中的所有图像特征进行相似度计算，根据相似度的高低对图像数据库中的数据进行排序，得到检索召回序列。基于内容的图像检索避免了人工标注带来的歧义，整个检索流程由计算机自动完成，可以应用于大规模图像检索。

随着触摸屏技术的流行，草图成为一种能够表达使用者意图的有效方式，基于草图的图像检索(Sketch-based Image Retrieval,SBIR)受到了越来越多的关注。传统的SBIR方法可以分为三步：边缘近似、特征提取和特征匹配。第一步为通过提取图像的轮廓来寻找草图近似，第二步为提取图像轮廓的特征，特征提取方法包括传统的手工设计特征的方法和最近流行的深度学习方法。这些提取出来的特征描述符都和形状视觉相似性有关。最后一步是特征匹配，通常是一个KNN(K最近邻)排序过程。也有一些方法直接匹配草图和图像特征解决跨域适应问题。Saavendra等人提出了一种经过修正的HOG(方向梯度直方图)描述符来解决传统HOG特征带来的稀疏问题。所有上述方法都侧重于为草图和图像轮廓提取相同的特征。然而为两个域设计的公共特征可能不如为某个域单独设计的特征更加具有可分辨性。Xu等人提出了一种词典对学习方法，分别从草图特征和图像特征学习成对的稀疏表示。Qi等人引入了一种感知分组方法，通过对边缘进行分组，得到鲁棒的特征表达，然后将这个特征用于检索。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

手工设计的特征，如HOG和GF-HOG(梯度场方向梯度直方图)特征，已被广泛使用。然而，这些手工设计特征的局限性影响了基于草图的图像检索性能。同时，基于深度学习的方法是数据驱动的方法，缺少足够的训练数据不能让基于深度学习的方法取得很好的效果，容易造成过拟合问题。

发明内容