[发明专利]一种基于多尺度卷积的图像patch匹配方法

摘要

本发明公开了一种基于多尺度卷积的图像patch匹配方法，通过准备数据集；制作数据集；数据预处理；设计三分支‑双通道网络结构；设计多尺度卷积模块；根据提取的特征计算相似性；网络训练；预测匹配概率；评估网络性能。本发明有效克服了现有技术中训练不充分、没有使用多尺度信息等问题，极大的提高了网络的性能，提升了网络的训练效率，增强了网络的鲁棒性。本发明可应用于图像配准、图像检索、图像追踪、多视角重建等领域。

主权项

1.一种基于多尺度卷积的图像patch匹配方法，其特征在于，包括以下步骤：/nS1、准备数据集，使用公开的异源VIS-NIR数据集和同源UBC PhotoTour数据集；/nS2、随机挑选2个匹配的patch以及一个不匹配的patch在深度方向级联，获得一个训练的Triplet；/nS3、将每一个训练Triplet按照通道进行归一化；/nS4、设计三分支-双通道网络结构，网络有三个相同的分支，三个分支共享参数，每个分支的输入是一个双通道图像patch对；/nS5、利用多尺度卷积模块结构提取patch对的多尺度特征；/nS6、将每个训练Triplet两两组合得到3个双通道patch对，分别输入到每个分支提取patch对的多尺度特征；/nS7、将步骤S6中提取的多尺度特征输入全连接层得到每个patch对相似性得分；/nS8、基于步骤S7获得的相似性得分，通过挖掘得到一个匹配对和一个困难的不匹配对的相似性得分，然后通过PNSigmoid loss以及Distribution loss联合优化整个网络；/nS9、将步骤S8训练得到的权重载入网络，得到每一个输入patch对的相似性概率得分；/nS10、分别在UBC PhotoTour以及VIS-NIR数据集上计算FPR95,通过FPR95评估网络在这2个数据集上的性能。/n