[发明专利]采用深度学习的草图检索方法

摘要

本发明公开了一种采用深度学习的草图检索方法，步骤(1)、接收待检索草图提供的轮廓信息和利用相应文本提供的草图中所有颜色的文本信息作为“双索引”输入数据；步骤(2)、在待查询数据集中搜索轮廓特征相匹配的图片目标对象；步骤(3)、利用欧几里德距离公式在由轮廓信息进行排序的基础上根据文字控制的颜色信息进行重新排序。与现有技术相比，本发明通过判断待检索图像颜色是否落入输入颜色对应的基准范围或者度量其与范围边界的距离，进而对草图检索网络的排序结果进行调整，实现检索准确率的提升，相比其它方法能取得更好的搜索结果。

主权项

1.一种采用深度学习的草图检索方法，其特征在于，该方法包括以下步骤：/n步骤(1)、接收待检索草图提供的轮廓信息和利用相应文本提供的草图中所有颜色的文本信息作为双索引输入数据；/n步骤(2)、在待查询数据集中搜索轮廓特征相匹配的图片目标对象；/n步骤(3)、利用欧几里德距离公式在由轮廓信息进行排序的基础上根据文字控制的颜色信息进行重新排序；/n所述步骤(2)具体包括以下步骤：/n首先，依据轮廓特征进行搜索，具体包括以下处理：/n训练好三元组神经网络：所述神经网络模型为一个深度学习的三元组排名模型：三个输入分支分别对应草图s、彩图正样本p⁺、彩图负样本p^-，通过训练使得草图分支神经网络的输出值f_θ(s)接近彩图正样本神经网络的输出f_θ(p⁺)，远离彩图负样本神经网络的输出f_θ(p^-)，对于给定的三元组t＝(s,p⁺,p^-)，将其损失函数表示为下式：/nL_θ(t)＝max(0,Δ+D(f_θ(s),f_θ(p⁺))-D(f_θ(s),f_θ(p^-)))/n其中，D(f_θ(s),f_θ(p⁺))，D(f_θ(s),f_θ(p^-))分别表示草图s的特征分别与正样本p⁺和负样本p^-特征之间的距离，Δ表示一个介于正样本—草图和负样本—草图距离之间的一个阈值度量；在两个候选图片中查询草图s到正样本p⁺的距离比负样本p^-更小：D(f_θ(s),f_θ(p⁺))＜D(f_θ(s),f_θ(p^-))；如果两张图片排序正确，之间的距离为大于Δ，表示这个三元组模型正确；否则，损失将是一个在0-1之间凸近似的排序损失，其测量违反了由三元组指定的期望排序顺序的程度，最终的目的是使得损失函数最小化，满足真正的排序顺序，损失函数的目标优化公式如下：/n /n其中，T表示三元组的训练集，θ表示从输入空间到映射空间f_θ(·)深度模型的参数，并且R(·)表示l₂正则项λ表示正则项参数；/n将用训练好的单支网络对数据库中的彩色图像一一进行特征提取并缓存，然后当输入草图时，经过单支网络的特征提取将对缓存的数据库特征进行匹配和排序，从而检索出与草图相似的彩色图片，/n所述步骤(3)具体包括以下步骤：/n首先，对待查询数据库中彩色图片进行去噪、去除待查询图片的背景区域，使用公式如下：/n /n其中，c(x,y)表示坐标(x,y)处像素的颜色，c_white表示纯白色在RGB颜色空间中的值c(x,y)＝[255，255，255]，O(x,y)为待测物体的目标区域，ε为像素差阈值参数；当整张图片的各像素点的值与纯白色像素的值之差小于或等于某个值时，认为该部分为背景区域；当不在此范围时，该部分为目标区域；当目标物体颜色与背景颜色相似时，初步判断后会在目标轮廓的周围产生大量噪声点；/n根据草图中所有颜色的文字信息，从简笔画目标对象图片中搜索出对应颜色的物体，将文字信息转化为了颜色信息，实现了文字到颜色的跨域转换；具体作法包括：先将文字信息转换为对应的颜色信息，并给不同的颜色在RGB三个通道定义不同的范围值：首先定义了红、黄或橙黄、绿、蓝、紫、棕、黑、白、灰九个颜色作为实验颜色搜索的基准颜色；然后分别在每种颜色中选取同一类相似的五种颜色，一共45种颜色，在每种颜色中五个颜色里面分别找到其对应的RGB值，从而分别得到九种颜色的RGB基准范围；/n其次，依据候选图片与基准颜色在r通道上的距离d_r进行轮廓特征的排序：输入查询草图的颜色时，当候选图片的RGB值位于查询图片规定的基准颜色范围内时，该RGB 通道与基准颜色相同通道距离为0，若不在基准颜色范围内，将选取与基准颜色两端值距离最小的作为两颜色的距离；其公式如下：/n /n其中，R₁为候选图片r通道最大概率的灰度值，A_r和B_r分别为r通道基准颜色范围的左右边界，d_r为候选图片与基准颜色在r通道上的距离；/n根据原有轮廓信息排序结果结合颜色信息重新定义距离公式，其中图片颜色信息越符合，原有排序图片位置越靠前，则与测试草图的距离越小，越相似，其距离公式如下：/n /n其中，i表示原有候选图片排序信息，分别表示候选图片颜色与基准颜色在r、g、b通道上的距离，eⁱ表示考虑对原来特征信息进行排序而加入原有排序信息的正则项；/n将候选图片逐一进行距离计算后，根据距离按照从小到大的顺序实现重新排序。/n