[发明专利]一种基于深度学习的图像特征点检测匹配网络

说明书

本发明基于改进的SuperPoint网络和改进的SuperGlue网络设计了一种融合网络，该网络利用全卷积网络提取图像特征点，使用一种亚像素化模块利用邻域窗口信息增进特征点的坐标精度，对图像特征点与特征向量联合编码后利用注意力机制模拟人类进行特征点匹配的过程并采用Sinkhorn算法解算匹配关系。本发明设计了自适应的空间约束层，利用空间约束关系对粗匹配点对进行多种方法的并行筛选和计算，能够自适应判别图像间的空间关系，对输入图像提取出匹配好的特征点对。

技术领域

本发明属于计算机图像处理领域，是基于深度学习的方法来进行图像的特征点检测匹配，输出两图像之间的匹配特征点对和空间关系矩阵。

背景技术

特征点是指图像中包含纹理结构信息的关键点及其对应的描述子，特征点检测分为关键点的检测和描述子的计算两个步骤。比较常用的关键点检测方法包括Laplacian法、Harris角点检测法、高斯差分检测法以及FAST角点检测法等。SIFT算子在DOG尺度金字塔中检测关键点，并计算出其包含梯度方向信息的128维描述子，该描述子具有尺度不变性、旋转不变性、仿射不变性，具有非常优异的定位精度，但计算过程比较复杂，因此运算速度较慢。Rublee提出了使用改进FAST作为关键点检测器，结合改进的BRIEF描述子的ORB算子，它用邻域像素编码出二进制的描述子，在保证尺度不变性的前提下具有非常快的运算速度，在很多实时性的任务中得到了应用。随着深度学习技术的蓬勃发展，研究者们也在特征点检测领域进行了不断的尝试与探索。SuperPoint是一种自监督的深度学习特征点提取算法，它具备良好的图像理解能力和特征点描述能力，并且在GPU上的运算速度远超传统的特征提取算法。SuperGlue是适配于SuperPoint的基于注意力GNN的匹配网络，它利用注意力机制模拟了人类进行图像匹配的过程。SuperPoint的缺点在于特征点坐标是整数而非浮点数，因此在精度要求较高的任务中受到一定限制，SuperGlue的缺点在于使用GNN模拟人类视觉时，缺乏显式的空间约束。目前主流的以三维重建为下游任务的特征点检测任务仍依赖于以SIFT为代表的手工特征检测方法。

发明内容

为了克服上述现有技术的不足，本发明公开了一种基于深度学习的特征点检测匹配方法。本发明基于改进的SuperPoint网络和改进的SuperGlue网络设计了一种融合网络，该网络利用全卷积网络提取图像特征点，使用一种亚像素化模块利用邻域窗口信息增进特征点的坐标精度，对图像特征点与特征向量联合编码后利用注意力机制模拟人类进行特征点匹配的过程并采用Sinkhorn算法解算匹配关系。本发明设计了自适应的空间约束层，利用空间约束关系对粗匹配点对进行多种方法的并行筛选和计算，能够自适应判别图像间的空间关系，对输入图像提取出匹配好的特征点对。

本发明采用的技术步骤如下：

步骤1：使用亚像素精度改进的SuperPoint网络提取待匹配图像的精细特征点坐标。

步骤2：根据亚像素精度特征点坐标提取特征点和描述子联合编码向量

步骤3：对两张待匹配的图片，分别执行步骤1、2，得到两组特征点联合向量，将两组向量输入SuperGlue的注意力图神经网络和最优匹配层，得到匹配关系矩阵，该矩阵描述了特征点之间的粗匹配关系和对应的置信度。根据置信度由高到低对匹配关系进行排序。

步骤4：将两图片中所有特征点的坐标和匹配关系矩阵输入到本发明设计的空间约束层中，空间约束层包含了并行的基础矩阵约束和单应性矩阵约束，根据双向重投影误差计算出单应性矩阵评分，重投影的H-F空间约束模型。

步骤4.1:以基础矩阵为拟合模型，对所有匹配点对进行最小中值法拟合，得到拟合矩阵F1，和投影误差阈值为2像素时F1对应的匹配点对集。

步骤4.2：以基础矩阵为拟合模型，对所有匹配点对进行渐进一致采样拟合，根据置信度排行前30％的匹配点对的平均置信度，动态分配迭代次数在150～300之间，得到拟合矩阵F2，和投影误差阈值为2像素时F1对应的匹配点对集。