[发明专利]一种基于深度学习和度量学习的草图检索方法

说明书

本发明涉及图像检索领域，提供了一种基于深度学习和度量学习的草图检索系统，本发明目的在于解决草图与自然图像之间跨域检索的问题。主要方案流程主要分为六步：准备草图和自然图像数据；四元组采样和三元组组合来制作网络输入数据；搭建双三分支网络结构；确定网络对应的损失函数并训练神经网络；制作自然图像特征数据库；进行外部输入草图的检索。本发明用于通过草图检索自然图像。

技术领域

本发明涉及由计算机进行的草图图像检索方法，可用于在系统上输入草图获取目标图像，属于深度学习和度量学习技术领域。

背景技术

基于草图的图像检索开始于20世纪90年代，早期的研究者通过提取图像的底层颜色、纹理特征，如将照片与包含颜色斑点或预定义纹理的查询进行匹配。上世纪90年代的草图检索更多的是关注轮廓或线条的变化规律。后来到20世纪90年代后期至21世纪初，研究者试图用颜色的全局描述符与形状组合为用于图像检索相似性度量。

在2015年前，提取特征的方式大多是基于人工定义的规则，人工对特征描述规则的定义与测试通常情况下是一个缓慢的经验积累过程，且不具有普适性。近年来，深度学习在计算机视觉领域不断取得突破，一次一次的刷新各领域的成绩。目前，已经有大量深度学习的工作在草图检索上进行，但草图检索属于跨域问题，大量观察研究发现，这些方法虽然取得了比传统算法更高的准确率，但是模型学习到的特征大多还是底层的视觉特征，在特征表达上十分有限，对于深层语义的描述更加匮乏。在智能设备普及的今天，更好地适应跨域检索问题，研发出草图检索系统具备巨大的应用前景。

发明内容

针对上述研究问题，本发明目的在于解决草图与自然图像之间跨域检索的问题。

本发明为解决上述技术问题采用以下技术效果：

本发明提供了一种基于深度学习和度量学习的草图检索方法，包括训练步骤和检索步骤：

检索步骤A：

步骤A1.准备草图数据集；

步骤A2.根据草图搜集对应的自然图像数据集；

步骤A3.数据准备过程一，采用四元组采样：首先从草图数据集中取出一张草图，记为x_i，对应类别记为c₁，并随机从自然图像数据集中选取一张类别为c₁的自然图像，记为y_i；之后通过语义相似度计算，得到与类别c₁语义上最接近的类别，记为c₂，随机取出类别为c₂的草图与自然图像，分别记为x_j、y_j，至此，得到四元组(x_i，x_j，y_i，y_j)；

步骤A4.数据准备过程二，采用三元组组合：对步骤A3得到的四元组(x_i，x_j，y_i，y_j)进行组合，得到两组三元组，分别为草图锚三元组(x_i，y_i，y_j)、自然图像锚三元组(y_i，x_i，x_j)；

步骤A5.准备未训练的Bi-Triplet神经网络模型，将Bi-Triplet网络分为草图锚区、自然图像锚区两个区域，每个区域都为一个单独的Triplet网络，草图锚区以草图锚三元组(x_i，y_i，y_j)作为输入，自然图像锚区以自然图像锚三元组(y_i，x_i，x_j)作为输入，每个Triplet网络由三个神经网络构成，其中以草图作为输入的卷积神经网络内部权值共享，该部分简称成草图神经网络，用于草图特征提取；以自然图像作为输入的神经网络共享权值，简称为自然图像神经网络；