[发明专利]一种融合附加信息的大场景三维重建方法

说明书

技术领域

本发明涉及一种计算机视觉领域的三维重建方法，尤其是一种融合附加信息的大场景三维重建方法。

背景技术

融合附加信息辅助三维重建是计算机视觉的重要研究方向之一，其在三维地貌生成、古迹遗址数字文化遗产保存、三维街景城市导航等方面有着广泛的应用。在三维重建的过程中，如何有效地融合含有噪声的先验信息对于是否可以快速鲁棒地三维重建具有重要影响，现有方法中尚没有一套完整思路算法来充分融合各种先验信息辅助各种场景下的快速鲁棒三维重建。

经对现有技术的文献检索发现，Pollefeys等于2008年在《2008International Journal of Computer Vision》(2008年的《计算机视觉》国际期刊)上发表的论文“Detailed real-time urban 3 d reconstruction from video”(基于视频的精细实时城市3D重建)提出通过GPS、惯性测量单元等附加信息辅助实时三维重建。该方法计算准确，但是需要很高精度的GPS和惯性测量单元设备才能完成，这对于一般的无人机设备和街景车设备来讲是不现实的。David J.Crandall等于2013年在《IEEE Transactions on Pattern Analysis and Machine Intelligence》(IEEE：模式分析与机器智能会刊)上发表的论文“SfM with MRFs：Discrete-Continuous Optimization for Large-Scale Structure from Motion”(基于运动的大场景离散连续优化)提出利用马尔科夫随机场与GPS附加信息来首先求解离散朝向和离散摄像头位置，然后连续优化场景。该方法具有较高的计算效率，但无法适用于无人机图像，且该方法鲁棒性不够好，对误匹配的三维场景点对应的轨迹过于敏感。

发明内容

为了克服现有技术中存在的上述缺陷，本发明提出了一种融合附加信息的大场景三维重建方法，以实现大场景的快速鲁棒三维重建。

本发明的融合附加信息的大场景三维重建方法，包括以下步骤：

步骤1，提取所有图像的SIFT点，进行图像匹配，构建外极几何图，得到对应于所有三维场景点的轨迹；

步骤2，根据惯性测量单元信息或者指南针角度得到每幅图像初始摄像头旋转矩阵，迭代地搜寻所述外极几何图中可靠的连接边，并利用所述可靠边进行全局优化；

步骤3，初始化摄像头的中心为对应图像的GPS，根据图像初始焦距信息，旋转矩阵和摄像头中心位置得到每幅图像的初始投影矩阵，根据这些投影矩阵和三维场景点的轨迹迭代地三角化和捆绑调整。

其中，所述附加信息包括拍摄图像时与图像同步存储的GPS、惯性测量单元信息、指南针角度以及可交换图像文件。

其中，所述步骤1进一步包括下列步骤：

提取所有图像的SIFT特征点，根据所述图像SIFT特征点建立图像语义树，得到初始的匹配图像对，然后再根据GPS去除距离较远的图像对，对剩余的图像对进行特征匹配；

将图像作为外极几何图的顶点，根据5点法求取两幅图像的极几何关系，如果他们之间匹配特征点超过20个，这两幅图像之间有边连接，以此得到外极几何图；

在由此得到的所述外极几何图上，构建场景对应的三维场景点轨迹。

其中，所述步骤2进一步包括下列步骤：

将全局坐标系与GPS坐标系设为一致，在这个全局坐标系下定义初始旋转矩阵，根据步骤1中得到的所述外极几何图，每条边定义一个残差：

其中，R_ij表示两幅图像i与j之间的相对旋转矩阵，R_i与R_j分别表示图像i与图像j的绝对旋转矩阵，||*||_F表示矩阵的F范数，当残差∈小于阈值T时，认为该条边是当前可靠边；其中，T的计算方法如下：

其中，M表示外极几何图中边的总数目，N表示图像的总数目；p表示第p次迭代；是一个0-1函数，当在第p次迭代，外极几何图中的边ij的残差∈_ij大于T时设为1，否则为0；α为一个预设的阈值，初始值定为0.9；

迭代进行上述操作，每次都要重新确定哪些边是当前可靠边，然后优化这些当前可靠边获取摄像头旋转矩阵，直到相邻两次迭代中当前可靠边不再发生变化时迭代收敛。