[发明专利]一种基于深度学习的图像特征点检测匹配网络

权利要求书

1.一种基于深度学习的图像特征点检测匹配网络，其特征在于，包括以下步骤：

本发明采用的技术步骤如下：

步骤1：使用亚像素精度改进的SuperPoint网络提取待匹配图像的精细特征点坐标。

步骤1.1：将待匹配图像输入SuperPoint的VGG结构的编码器中，提取出图像的特征图，编码器包含8个卷积层、3个池化层、多个BN层和激活函数层。卷积层用于提取特征，其卷积核数量依次为64、64、64、64、128、128、128、128，三个2×2最大池化层用于下采样。一张H×W的图像通过编码器编码后得到H/8×W/8×128的特征图。

步骤1.2：将步骤1.1得到的特征图输入SuperPoint的特征点解码器中，解码器包含2个通道分别为256和65的卷积层和多个BN层和激活函数层，输出W/8×H/8×65的张量。通过Softmax层分类得到65种情况的归一化概率分布，再通过ReShape层将尺寸还原为H×W×1，得到H×W的得分图。

步骤1.3：将步骤1.2所得的得分图输入到本发明设计的坐标亚像素化模块之中，流程包括：对每个不重叠的4×4像素窗口采用非最大值抑制，每个像素窗内将最大值以外的像素值置为0，得到粗特征点图。对所有的M个粗特征点，以每个粗特征点的坐标为中心，在得分图中取5×5的像素窗，使用Softargmax方法分别对x、y方向计算出像素窗内各个像素相对于中心的偏离期望，将偏离期望与粗特征点坐标相加，得到M个亚像素化的精细特征点坐标。

步骤2：根据亚像素精度特征点坐标提取特征点和描述子联合编码向量

步骤2.1：将步骤1.1所得特征图输入SuperPoint的描述子解码器中，经过多重卷积后输出H/8×W/8×256的描述子矩阵。

步骤2.2：根据步骤1.3输出的M个亚像素级坐标，对步骤2.1所得的描述子矩阵中进行M次双三次插值，得到M个256维向量，对这些向量进行L2正则化，得到亚像素特征点对应的256维描述子。

步骤2.3：将步骤1.2得到的精细特征点坐标与步骤2.2得到的描述子向量进行联立，得到特征点联合向量。

步骤3：对两张待匹配的图片，分别执行步骤1、2，得到两组特征点联合向量，将两组向量输入SuperGlue的注意力图神经网络和最优匹配层，得到匹配关系矩阵。根据置信度由高到低对匹配关系进行排序。

步骤4：将两图片中所有特征点的坐标和匹配关系矩阵输入到本发明设计的空间约束层中，根据双向重投影误差计算出单应性矩阵评分，重投影的H-F空间约束模型。

步骤4.1:以基础矩阵为拟合模型，对所有匹配点对进行最小中值法拟合，得到拟合矩阵F1，和投影误差阈值为2像素时F1对应的匹配点对集。

步骤4.2：以基础矩阵为拟合模型，对所有匹配点对进行渐进一致采样拟合，根据置信度排行前30％的匹配点对的平均置信度，动态分配迭代次数在150～300之间，得到拟合矩阵F2，和投影误差阈值为2像素时F1对应的匹配点对集。

步骤4.3:以单应性矩阵为拟合模型，对所有匹配点对进行最小中值法拟合，得到拟合矩阵H1，和投影误差阈值为2像素时H1对应的匹配点对集。

步骤4.4：以单应性矩阵为拟合模型，对所有匹配点对进行渐进一致采样拟合，根据置信度排行前30％的匹配点对的平均置信度，动态分配迭代次数在150～300之间，得到拟合矩阵H2，和投影阈值为2像素时H2对应的匹配点对集。步骤4.1、4.2、4.3、4.4并行同时运行以节约时间。

步骤4.5：根据H1和H1对应的匹配点对集计算出平均双向重投影误差，同理计算出H2对应的平均双向重投影误差，取其中更小者，保留对应的矩阵记为H，对应的平均双向重投影误差记为SH。

步骤4.6：根据F1和F1对应的匹配点对集计算出平均双向重投影误差，同理计算出F2对应的平均双向重投影误差，取其中更小者，保留对应的矩阵记为F，对应的平均双向重投影误差记为SF。

步骤4.7：当SH/(SF+SH)0.4时，保留矩阵H，输出H对应的匹配点对集，否则保留矩阵F，输出F对应的匹配点对集。

2.如权利要求1所述方法，其特征在于，步骤1使用了亚像素化坐标模块提取精细化的特征点坐标，使得网络具有更准确的特征提取能力。