[发明专利]一种面向三维重建的特征点匹配方法及系统

说明书

本发明公开了一种面向三维重建的特征点匹配方法及系统。本发明的特征点匹配方法步骤包括：1)输入待匹配的两视图图像或者多视图图像；对输入的每一图像执行特征点检测及语义特征提取，得到每幅图像对应的特征描述子；2)采用结合局部邻域信息的匹配对筛选网络对待配对图像的特征点进行匹配和筛选；3)采用RANSAC方法对步骤2)处理后保留的匹配对进行进一步的筛选，并得到最终的匹配对。本发明能够提升三维重建出的三维模型/场景的精度和质量。

技术领域

本发明属于计算机图形图像处理、虚拟现实、软件技术领域，涉及一种面向三维重建的特征点匹配方法及系统。

背景技术

特征点匹配是基于多图像的三维重建系统中的重要环节，特征点匹配的质量对系统后续其他环节影响很大。面对不断增长的大规模三维场景的重建应用需求以及日益复杂的三维重建场景，对于特征点匹配质量的要求也越来越高，因此设计更加鲁棒的特征点方法服务于三维重建系统十分有意义。

在三维重建应用中，为了得到三维场景的完整信息，经常需要对不同视角的图像进行特征点匹配。当出现视角变化较大的情况(也叫宽基线问题)时，SIFT、SURF等特征点往往表现欠佳，因为这类特征点在设计时没有考虑仿射变换不变性的问题。除了常见的视角变化、光照变化以外，还有很多困难场景的例子：城市高层建筑重复出现的纹理结构(比如窗户屋顶)、季节变换带来的地面景观巨大变化(比如雪前雪后)、图像中后期加入的噪声干扰(比如日期水印)、图像中移动的物体对背景的遮挡干扰(比如行人车辆)等。还有一些场景综合了以上多种情形，比如利用航拍图像进行三维重建时为了保证模型的完整度，需要利用地面视角拍摄的图像对航拍模型进行细节补充。而当对航拍-地面图像进行特征点匹配时，除了有较大的视角差异以外，可能同时存在光照差异、尺度差异等情况，因此很难找到合适的方法实现目标。此外，误匹配筛选是特征点匹配最后环节，对于匹配准确性有重大的影响。

经典的特征点匹配流程包括：在原始图像上检测特征点、生成特征描述子(向量)、特征点匹配(对特征描述向量进行匹配)、对错误匹配对进行筛选(RANSAC)。

在特征点匹配环节，传统的方法通常需要对错误匹配进行筛除。在经典流程中使用SIFT等特征具备良好的旋转不变性、尺度不变性，同时在匹配过程中采用ratio test和RANSAC很好地筛掉了错误的匹配点。尽管经典流程已经适用于大部分常见的场景，但是还远远谈不上完美，对于现实中很多复杂的场景(光照条件变化、视角差异较大、重复纹理等)依然无能为力。在复杂场景下的特征点匹配结果通常包含大量的错误匹配，需要更加鲁棒的匹配对筛选方法。RANSAC作为一个标准方法，也有了许多的改进，DSAC(E.Brachmann,A.Krull,S.Nowozin,J.Shotton,F.Michel,S.Gumhold,and C.Rother.DSAC:Differentiable RANSAC for Camera Localization.arXiv,2016.)是RANSAC的可微版本，但是不太适合两视图场景。(Kwang Moo Yi，Eduard Trulls，Yuki Ono，Vincent Lepetit，Mathieu Salzmann，and Pascal Fua.Learning to find good correspondences.InProceedings of the IEEE Conference on Computer Vision and PatternRecognition，2018.)首次提出了用深度神经网络进行匹配对筛选，通过和RANSAC结合，尽管特征点匹配的准确率可以得到很大提升，但是依然存在准确性不足的问题。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种面向三维重建的特征点匹配方法及系统。

本发明的技术方案为：

一种面向三维重建的特征点匹配方法，其步骤包括：

1)输入待匹配的两视图图像或者多视图图像；对输入的每一图像执行特征点检测及语义特征提取，得到每幅图像对应的特征描述子；