[发明专利]一种基于多尺度卷积的图像patch匹配方法

权利要求书

1.一种基于多尺度卷积的图像patch匹配方法，其特征在于，包括以下步骤：

S1、准备数据集，使用公开的异源VIS-NIR数据集和同源UBC PhotoTour数据集；

S2、随机挑选2个匹配的patch以及一个不匹配的patch在深度方向级联，获得一个训练的Triplet；

S3、将每一个训练Triplet按照通道进行归一化和数据增强预处理；

S4、设计三分支-双通道网络结构，网络有三个相同的分支，三个分支共享参数，每个分支的输入是一个双通道图像patch对；

S5、利用多尺度卷积模块结构提取patch对的多尺度特征；

S6、将每个训练Triplet两两组合得到3个双通道patch对，分别输入到每个分支提取patch对的多尺度特征；

S7、将步骤S6中提取的多尺度特征输入全连接层得到每个patch对相似性得分；

S8、基于步骤S7获得的相似性得分，通过挖掘得到一个匹配对和一个困难的不匹配对的相似性得分，然后通过PNSigmoid loss以及Distribution loss联合优化整个网络，具体为：

S801、基于步骤S7中得到的Triplet相似性得分＜S_1,2,S_1,3,S_2,3＞挖掘困难负样本，S⁺＝S_1,2，S^-＝max(S_1,3,S_2,3)，S_1，2是一对匹配样本对的相似性得分，S_1,3、S_2,3分别是2个不匹配样本对的相似性得分，S^-表示挖掘得到的困难负样本对的相似性得分；

S802、建立PNSigmoid损失函数训练网络，PNSigmoid损失函数为：

其中y_i＝0或者1，y_i代表匹配的标签；

S803、建立Distribution loss损失函数缓解由于Triplet采样造成的梯度消失现象，Distribution loss具体为：

L(D)＝λ(var_match+var_non-match)+max(0,m-mean_non-match+mean_match)

其中，var_match是匹配样本对相似性分布的方差，mean_match是匹配样本对相似性分布的均值，var_non-match是不匹配样本对相似性分布的方差，mean_non-match是不匹配样本对相似性分布的均值，m代表匹配以及不匹配样本对相似性分布均值之间的间隔，λ代表方差损失和均值损失之间的偏置项；

S804、联合优化PNSigmoid loss损失函数和Distribution loss损失函数，确定最终的损失函数；

S9、将步骤S8训练得到的权重载入网络，得到每一个输入patch对的相似性概率得分；

S10、分别在UBC PhotoTour以及VIS-NIR数据集上计算FPR95,通过FPR95评估网络在这2个数据集上的性能。

2.根据权利要求1所述的基于多尺度卷积的图像patch匹配方法，其特征在于，步骤S1中，VIS-NIR数据集共有9个子集，在Country子集上训练，在剩余8个子集上测试；UBC-PhotoTour数据集包含3个子集(Liberty、Notredame、Yosemite)，每次在一个子集上训练在另外二个子集上测试。

3.根据权利要求1所述的基于多尺度卷积的图像patch匹配方法，其特征在于，步骤S3具体为：

S301、2个patch块在深度上拼接构成一个双通道输入patch对，计算每个patch对通道的均值和标准差，然后将每个通道内的像素值减去其对应的均值和标准差进行通道归一化操作；

S302、对于每个patch块采用随机数据增强操作，包括随机上下翻转，随机镜像翻转和随机旋转。