[发明专利]一种基于多尺度邻居深度神经网络的图像匹配方法

权利要求书

1.一种基于多尺度邻居深度神经网络的图像匹配方法，其特征在于，首先，准备数据集；其次，对数据集进行预处理，并对处理后的数据进行特征增强；然后，对增强后的特征进行多尺度组合，之后对多尺度组合后的特征进行提取特征；最后，在测试阶段输出结果；所述方法具体包括如下步骤：

步骤S1、准备数据集：对于给定的图像对(I,I')，采用基于黑塞映射的检测子从图像中提取特征点kp_i,kp′_i，其中图像I提取的特征点集为KP＝{kp_i}_i∈N，图像I′提取的特征点集为KP′＝{kp′_i}_i∈N，每个对应关系(kp_i,kp′_i)可生成4D数据：

D＝[d₁；d₂；d₃；.......d_N；]，d_i＝[x_i,y_i,x′_i,y′_i]

其中，D表示图像对的匹配组，d_i表示匹配对，(x_i,y_i)，(x′_i,y′_i)表示图像对匹配中相应两个特征点的坐标；

步骤S2、特征增强：采用一个卷积核大小为1×1的卷积层将原始特征数据映射为一个32维的特征向量，即D_(1×N×4)→D_(1×N×32)，其中，N为一张图片提取的特征点个数；

步骤S3、多尺度组合：通过基于黑塞映射方法提取局部信息的特征点，提出基于黑塞映射的兼容性距离，而后，采用多尺度近邻挖掘不同邻居的信息，按升序对数据之间的距离进行排序，最后，使用多尺度信息构造邻域图；

步骤S4、特征学习：使用残差网络作为预训练编码器对多尺度组合后的特征进行特征提取，其中残差网络由一个个残差块叠加而成；

步骤S5、测试：在测试阶段，将残差网络的输出设为初步预测结果，并且使用激活函数tanh和relu对初步预测结果进行处理，即：f_x＝relu(tanh(x_out))，f_x为最终结果；

所述步骤S3具体实现步骤如下：

S31、采用基于黑塞映射方法提取可以提供局部信息的特征点，该特征点可描述为一个3×3的矩阵：

其中，A_i代表特征点描述子，v_i是一个通过黑塞映射提取的局部仿射信息组成的2×2矩阵，u_i表示特征点的坐标位置；

S32、提出基于黑塞映射的兼容性距离，可表示为：

其中，α[a b c]^T＝[a/c b/c]^T，由于sl_i(A_i·A_j)经常小于0，因此再使用高斯核评估数据之间的兼容性距离：

S33、采用多尺度近邻挖掘不同邻居的信息：首先，计算每两个数据的兼容性距离，其次，按升序对数据之间的距离进行排序：

其中，σ(A_i)表示相似排列的顺序集合；表示与A_i相似度排名的第m个数据；

S34、使用从A_i中提取的多尺度信息构造邻域图：

其中，Kn_m中Kn表示多尺度近邻的尺度，Kn_m的下标m表示最大邻居。

2.根据权利要求1所述的一种基于多尺度邻居深度神经网络的图像匹配方法，其特征在于，所述步骤S4中，残差块的输入和输出的关系映射如下式所示：

x′＝F(x,w)+x

其中x，x′是残差块的输入和输出，w是权重，F(·)是非线性变换。

3.根据权利要求1所述的一种基于多尺度邻居深度神经网络的图像匹配方法，其特征在于，该方法采用交叉熵损失函数来指导网络的学习，交叉熵损失函数如下式所示：

其中，y_i就表示label，y'_i表示预测值。