[发明专利]一种实时大规模场景三维扫描建模方法及系统

说明书

本发明涉及一种实时大规模场景三维扫描建模方法及系统，所述方法包括如下步骤：获取RGB‑D视频流；对上述视频流进行全局相机姿势优化，获取全局相机预测位置；根据所述全局相机预测位置，进行全局优化的三维扫描建模。本发明实现实时的、终端到终端的建模。因此，本发明不依赖于局部的相机追踪，而是时刻保持全局最优的相机定位。本发明提出并开发了一个结合了稀疏特征点、稠密几何以及颜色信息的并行优化建模系统，它同时可以实时的预测全局最优的相机位置，并且支持相机重定位、实时更新全局一致的最优三维模型。本发明的系统应用于大规模的室内扫描，能够获得高质量的三维模型。

技术领域

本发明涉及三维建模领域，具体而言，本发明涉及一种实时大规模场景三维扫描建模的方法及系统。

背景技术

实时高质量的大规模场景三维扫描是虚拟增强现实和机器人领域的重要应用。RGB-D相机的普及，使得三维扫描发生了巨大的改革。3D打印，虚拟与增强现实，游戏以及机器人领域，对大规模的实时三维扫描拥有重要的需求：机器人或者普通用户通过实时扫描能够即时获得合成的三维模型，从而能够应用到机器人导航，将物理世界引入虚拟环境，或者提供给用户实时的信息回馈。

然而，尽管三维重建系统发展已久，仍然没有一个成熟的解决方案能够让普通用户方便的建模。这里拥有许多挑战需要被解决：

1.高质量的表面建模：图形应用往往需要无噪音、有纹理的场景。三维信息的表达方式应该是连续的表面而不是点云。

2.可扩展性：对于混合实境和机器人导航系统，需要获取整个房间或数个较大的三维空间。

3.全局模型一致性：为了达到大规模场景，需要矫正相机位置的误差和偏移，以及三维模型的变形。实时的矫正是保证全局模型一致的关键，拥有巨大的挑战。

4.稳定的相机追踪：除了每帧增加的误差，在特征不明显的区域相机追踪可能失败。为了恢复相机位置，需要相机重定位的能力。已有的方法通常需要被恢复帧与以往帧拥有极高的相似性，因此限制了相机精确定位和定位失败后恢复的能力。

5.实时的三维模型更新：在拥有稳定的相机追踪同时，系统需要集合每帧的三维数据，得到一个完整的三维模型并实时可视化。在相机位置更新的同时进行模型的更新是一个巨大的挑战。

6.实时性：快速的实时是许多虚拟/增强现实和机器人应用中不可或缺的元素，拥有巨大的挑战。

现有技术中已有解决上述问题的尝试。例如，申请号为201410461249.2的中国发明专利申请，公开了一种基于低质量GRB-D数据的场景恢复方法及装置。通过首先根据语义关系以及点云分类器恢复出场景中的主要物体模型，然后从对应的彩色图像准确的提取出小物体的轮廓，采用轮廓检索方法来帮助恢复细小物体。这样极大提高了从低质量RGB-D图像序列中恢复三维模型的准确率，实现了在不需要人工干预的前提下自动恢复出语义上正确的、视觉上逼真的虚拟三维场景模型。

然而，到目前为止，相机位置预测的偏移误差仍然会在建模过程中引入重大的误差，从而成为这个领域的重大挑战。为了解决这个问题，已有的方法通常通过数小时的后期计算来得到全局正确的模型。较近的线上建模方法通常存在以下问题：(1)仍然需要数分钟的矫正，从而不能达到实时。(2)帧到帧或者帧到模型的相机追踪方式非常脆弱，经常导致无可挽回的错误。(3)只支持无结构点云的表示方法，严重影响到扫描的质量和实用性。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的实时大规模场景三维扫描建模的方法及系统。

本发明主要的核心创新在于全新的全局相机在线优化，从稀疏到稠密的联合优化，以及在线模型矫正优化。同时，本发明通过CPU-GPU内存管理和Hash表存储，使得本发明的模型精度可以在大规模空间建模的前提下保证在0.5cm的级别。