[发明专利]一种基于多尺度卷积的图像patch匹配方法

说明书

本发明公开了一种基于多尺度卷积的图像patch匹配方法，通过准备数据集；制作数据集；数据预处理；设计三分支‑双通道网络结构；设计多尺度卷积模块；根据提取的特征计算相似性；网络训练；预测匹配概率；评估网络性能。本发明有效克服了现有技术中训练不充分、没有使用多尺度信息等问题，极大的提高了网络的性能，提升了网络的训练效率，增强了网络的鲁棒性。本发明可应用于图像配准、图像检索、图像追踪、多视角重建等领域。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于多尺度卷积的图像patch匹配方法。

背景技术

在图像patch之间建立一个精确的匹配对应关系在许多计算机视觉领域中起了至关重要的作用，例如：图像配准、图像检索、细粒度分类等。由于图像的外观容易受到视角变化、光照变化，遮挡，相机参数设定等很多方面的影响，图像匹配具有很大的挑战性，需要提取到的特征具有良好的不变性以及判别性。在本文中我们提出一个通用的方法，不仅仅在同源数据集上取得较好的匹配结果，并且在更加困难的异源数据集上也取得先进的性能。

在深度学习之前，在图像匹配领域普遍使用基于SIFT的方法来提取patch的描述子向量，然后根据两个patch之间的欧氏距离来判断给定的patch对是否匹配。深度学习在许多计算机视觉领域的任务中都取得了非常出色的效果，因此越来越多的研究者开始使用深度学习的方法来解决图像匹配问题。现阶段，基于深度学习的方法主要分成两大类。一种是Metric Learning，另一种是Descriptor Learning。Metric Learning利用卷积神经网络直接建模patch对的相似性度量函数，而Descriptor Learning先使用卷积神经网络提取patch的特征描述子，根据patch对特征描述子之间的欧式距离来判断给定的patch对是否匹配。

现有的数据采样策略是在一个mini-batch内穷尽的挖掘所有的困难负样本，极大的改进基于描述子学习方法的性能。但是这种方法并没有考虑使用patch的多尺度特征。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于多尺度卷积的图像patch匹配方法，可用于图像检索、目标追踪、图像配准等，能有效的提高同源以及异源图像的匹配精度。

本发明采用以下技术方案：

一种基于多尺度卷积的图像patch匹配方法，包括以下步骤：

S1、准备数据集，使用公开的异源VIS-NIR数据集和同源UBC PhotoTour数据集；

S2、随机挑选2个匹配的patch以及一个不匹配的patch在深度方向级联，获得一个训练的Triplet；

S3、将每一个训练Triplet按照通道进行归一化；

S4、设计三分支-双通道网络结构，网络有三个相同的分支，三个分支共享参数，每个分支的输入是一个双通道图像patch对；

S5、利用多尺度卷积模块结构提取patch对的多尺度特征；

S6、将每个训练Triplet两两组合得到3个双通道patch对，分别输入到每个分支提取patch对的多尺度特征；

S7、将步骤S6中提取的多尺度特征输入全连接层得到每个patch对相似性得分；

S8、基于步骤S7获得的相似性得分，通过挖掘得到一个匹配对和一个困难的不匹配对的相似性得分，然后通过PNSigmoid loss以及Distribution loss联合优化整个网络；

S9、将步骤S8训练得到的权重载入网络，得到每一个输入patch对的相似性概率得分；

S10、分别在UBC PhotoTour以及VIS-NIR数据集上计算FPR95,通过FPR95评估网络在这2个数据集上的性能。