[发明专利]一种基于全局线性方法的三维模型重建方法

说明书

技术领域

本发明涉及一种基于全局线性方法的三维模型重建方法，属于计算机软件技术领域。

背景技术

近年来有很多人在研究利用大量无序的网上照片集合来重建景物的三维模型，而运动恢复结构(sfm)是这些重建流程中的关键步骤。三维重建的流程包括：1.对所有的图片做图像特征提取(一般采用SIFT特征)；2.对特征点进行匹配(找到相机间看到的共同的点)；3.初始化相机群的姿态和特征点的三维坐标；4.调整相机姿态和场景结构(bundle adjustment)。其中第3步，传统的方法[Snavely06],[Li08],[Agarwal09]在初步重建相机姿态和特征点三维坐标都采用增量捆绑调整(incremental bundle adjustment)，即初始选择联系最密切的两张图片，还原两个相机的姿态和特征点位置，然后调整去除误差；再添加一张图片，还原这个相机的姿态和特征点的位置，这样不断的重复直到所有的图片对应的相机姿态以及特征点的三维坐标被还原出来。这种方法对于很多场景的重建效果还不错。

David采用的方法[David Crandall2011]则把运动恢复结构(sfm)看成是对马尔科夫模型求能量最小化，一次性求解所有相机的姿态以及特征点的三维坐标。David声称他的方法比目前任何一种增量集束调整(IBA)方法都要快，并且对于重建中的错误更有鲁棒性。David的方法首先利用所有的图片计算出初始的所有相机姿态，然后用集束调整做一次最后的场景结构修正。但是，David的算法对于大规模的图像数据的重建效果较好，因为这种情况下人们对于相机姿态的准确性要求不高，只关注整体效果。但是，David的算法对于求解精确的相机姿态有致命的缺陷，即算法假设所有的相机都在同一平面上，这导致相机的姿态不可能完全精确。

近几年一些人提出了新的全局求解运动恢复结构的算法，[Sinha]设计了一个鲁棒的多流程的线性算法，利用两个相机对重建之间在已经相机朝向的情况的线性关系，全局的求解相机姿态和特征点坐标。[Jiang]同样设计一种新颖鲁棒的线性算法，在已知相机朝向的情况下，算法最小化相机中心之间距离的几何误差，全局线性求解出一个好的初始重建。但是上述两种方法都对两两相机重建的对极几何的准确性依赖极高，如果不能准确的筛除错误的对角几何，算法将会崩溃。

传统方法：很多著名的Sfm系统都是先两两相机计算相对姿态，采用按次序或者分层的方法一个个地把相机添加到整体的重建中。他们的共同缺陷就是，1.每次添加相机需要做一次集束调整，这严重影响算法的运算速度2.如果增量集束调整的初始种子没有选择好，那么重建的效果会受到影响；3.对于大广角的场景，增量添加相机不可避免带来累积误差，导致后添加的相机姿态变形，特征点位置不精确。

全局的方法：一些全局的算法是分两步来计算相机在世界坐标系中的姿态，他们先计算相机的朝向，然后再计算相机光心的位置。[Crandall2011]和[Jiang2013][sinha2010]都属于这种方法，[Crandall2011]利用相机自带的GPS信息，建立MRF模型，把相机的朝向和光心位置看成是隐变量，采用置信传播算法求解能量最小化可以重建城市级别的SFM。[sinha2010]和[Jiang2013]都是先用[Martinec2007]线性地求解得到所有相机在世界坐标系中的朝向，该方法被验证证明结果相当稳定和准确。但是相机光心在世界坐标系中的位置并不容易求解，因为两两相机重建[Nister05]之间的尺度差异未知。[sinha2010]利用两个相机重建(I,j),(j,k)之间存在线性关系(包括尺度和偏移)，先求解所有合法的两两重建间的线性关系，然后利用线性方程组全局地求解所有两两重建相对全局世界坐标的尺度和偏移，从而两两重建中的相机光心的位置也可以轻松得到。这种方法避免了多次的集束调整，算法时间上有了很大的提高，但是根据[Arie-Nachimson2012]，这个方法产生的结果准确性无法和传统的方法比较。[Jiang2013]考察每个共享特征点的三视图，利用线性方程优化三个相机间的几何距离关系，同样可以联立所有的三视图求解得到所有相机的光心位置。但是这种方法过于重视相机间的几何约束(包括相机间的旋转角度和基线比例)，忽视了特征点的投影误差，本文经过实践证明[jiang2013]方法对于三元组优化所得相机重建结果的平均投影误差达到30-200不等，相机三元组的重建投影误差就如此之大，对于算法最后求解的重建，投影误差依然存在，对于有些数据集，由于投影误差太大，即使做集束调整也无法得到相对好的结果。