[发明专利]具有跳层结构的特征提取网络及特征和描述子生成的方法

说明书

本发明涉及一种具有跳层结构的特征提取网络及描述子生成的方法，网络为带有跳层结构的图像特征提取网络，在VGG16的conv2_2层、conv2_3层与conv4_3层的输出特征图进行融合，得所有的细节信息，并有效提高特征点定位精度。特征点的独特性指标是指图像的某个局部区域与图像其他区域的相似程度。通过独特性得分来衡量图像中每个位置的独特性，即图像中每个位置与其他所有位置的相似程度。通过选择图像中足够独特的特征点来提高网络的匹配性能。本发明在图像检索的HPatches数据集上取得了领先的性能，特别是在它的光照序列上。

技术领域

本发明属于图像处理与计算机视觉领域，涉及一种具有跳层结构的特征提取网络及利用该网络进行图像特征点检测和描述子生成方法。

背景技术

在许多应用中，如视觉定位、目标检测、位姿估计、三维重建等，提取图像的特征点和描述子是至关重要的。在这些任务中我们期望能获得高特征匹配准确率与高特征点检测精度。其中高特征匹配准确率是指,对于两幅待匹配图片,在进行特征点匹配时误匹配尽可能少；而高特征点检测精度是指,对于成功匹配的特征点对，其在两幅图片中指向的位置确是图像中场景中的同一位置。

经典的特征点检测方法是分为两个阶段得实现的，首先检测关键点，然后为每个关键点计算一个局部描述符。第一种依靠机器学习进行关键点检测的方法是FAST。之后，SIFT法将图像特征点检测及图像局部特征描述的整个流程集成在一起,是典型的先检测、后描述的方式。Yi等人提出的LIFT首次使用卷积神经网络完整地完成了图像特征点检测及图像局部特征描述与匹配的任务，其中整合了基于卷积神经网络的特征点检测网络、图像局部特征方向确定网络与图像局部特征描述网络。其不足之处主要是网络整体复杂性较高，且训练时，LIFT网络依然使用经筛选的SIFT特征点作为特征点标注,未能脱离SIFT法的局限。Ono等人提出的Le-Net整体上延续了LIFT法的思路，但大幅简化了网络结构，不再将图像特征点检测及图像局部特征描述流程中的各个步骤看作独立的模块，而是将网络设计为一个整体。训练上，其使用无监督的方法训练特征点检测器，整体采用端到端的训练方法，改善了网络性能，降低了网络复杂度。

近年出现的先描述后检测方法较之前的先检测后描述方法普遍展现出了更好的性能，它们使用同一个网络来实现了检测和描述两个任务，他们之间的大部分参数是共享的，这样可以减少网络的复杂性。近年，Detone等人的提出的SuperPoint使用VGG-style网络来提取图像特征，经卷积后使用类似图像超分辨的方法检测特征点坐标。SuperPoint的标签是通过经合成数据集训练的特征点检测器检测得到的，消除了人工标注的偏倚。之后，Dusmanu等提出的D2-Net网络在先描述，后检测的方法中较为突出。其使用VGG-16网络作为骨干，在VGG-16的输出特征图后串联特征点检测器。D2-Net区别于其他工作最大的特点是，其特征点检测器中没有学习得到的参数，特征点仅由特定的算法检测得到。尽管结构简单,D2-Net仍在其问世时取得了与SuperPoint不相伯仲的效果，证明了其思路的可行性。Revaud等人提出的R2D2网络使用的训练数据同样没有任何人工误差，其采用光流代替MegaDepth数据集来产生点的对应，为训练数据提供了新思路。同时该方法提出了描述子的可靠性指标，来消除误匹配。

然而在许多联合学习局部特征点和描述子的方法中,我们认为有两个非常大的限制：1、特征点定位精度很低，不能有效地解决像机几何问题。2、许多工作在关键点检测器的设计上只关注于可重复性，对一些纹理相似的区域可能造成误匹配。