[发明专利]采用深度学习的草图检索方法

说明书

本发明公开了一种采用深度学习的草图检索方法，步骤(1)、接收待检索草图提供的轮廓信息和利用相应文本提供的草图中所有颜色的文本信息作为“双索引”输入数据；步骤(2)、在待查询数据集中搜索轮廓特征相匹配的图片目标对象；步骤(3)、利用欧几里德距离公式在由轮廓信息进行排序的基础上根据文字控制的颜色信息进行重新排序。与现有技术相比，本发明通过判断待检索图像颜色是否落入输入颜色对应的基准范围或者度量其与范围边界的距离，进而对草图检索网络的排序结果进行调整，实现检索准确率的提升，相比其它方法能取得更好的搜索结果。

技术领域

本发明涉及人工智能技术领域、深度学习的图像特征提取、等技术，特别是涉及一种基于异构索引信息的图像检索方法。

背景技术

随着互联网和多媒体信息技术的飞速发展，图像信息正变得越来越重要，而众多行业的需求对专业的图像搜索提出了新的要求。传统的“以文搜图”的方式往往过度依赖于输入检索关键字和备查图像标注的准确性和完备性，难以保证复杂场景下的检索质量；而近年商用的“以图搜图”的方法所依赖的索引图一般不适用人工绘制或随地拍摄，因此，基于手绘草图的图像检索需求应运而生。

手绘草图是一种由稀疏的曲线构成的用于描述物体大致轮廓的简化图像，它具有获取方便、表现直接、信息冗余少等优点。基于手绘草图的图像检索(以下简称“草图检索”)是一种以不携带颜色信息的手绘轮廓图为索引信息的图像检索技术，其需要解决的关键问题是如何从语义与结构两个层面综合度量给定草图与待检图像轮廓之间的相似程度。经过初步探索，研究者提出一些基于机器学习的草图检索算法，这些算法在某些简单任务集上取得较为可靠的性能，但其处理能力仍受限于某些亟待解决的技术难题，包括：(i)索引信息(手绘草图)与待检索对象(彩图/灰度图)对物体的表示方式有较大差别；(ii)手绘草图的表示精度难以控制，即待训练草图与对应图像的相似程度将极大影响训练结果的鲁棒性；(iii)训练集数量有限：目前可获得的训练所需数据不足，使得机器学习的结果难以达到理想效果。

发明内容

基于上述现有技术，本发明提出一种基于手绘草图的图像检索方法，实现了一种“双索引协同检索”方法，基于图像轮廓和颜色信息，综合利用草图提供的轮廓信息和文本提供的颜色信息实现更加准确地图像检索。

本发明的一种采用深度学习的草图检索方法，该方法包括以下步骤：

步骤1、接收待检索草图提供的轮廓信息和利用相应文本提供的草图中所有颜色的文本信息作为“双索引”输入数据；

步骤2、依据轮廓特征和颜色的文本信息“双索引”在数据库中搜索与之轮廓特征、颜色的文本信息相匹配的图片目标对象；

步骤3、利用欧几里德距离公式在由轮廓信息进行排序的基础上根据文字控制的颜色信息进行重新排序。

所述步骤2具体包括以下步骤：

首先，依据轮廓特征进行搜索，具体包括以下处理：

训练好三元组神经网络：所述神经网络模型为一个深度学习的三元组排名模型：三个输入分支分别对应草图s、彩图正样本p⁺、彩图负样本p^-，通过训练使得草图分支神经网络的输出值f_θ(s)接近彩图正样本神经网络的输出f_θ(p⁺)，远离彩图负样本神经网络的输出f_θ(p^-)，对于给定的三元组t＝(s,p⁺,p^-)，将其损失函数表示为下式：

L_θ(t)＝max(0,Δ+D(f_θ(s),f_θ(p⁺))-D(f_θ(s),f_θ(p^-)))