[发明专利]一种三维场景重建的方法与装置

说明书

本发明涉及一种三维场景重建的方法与装置，用于完成室内环境中有限范围内的场景重建，利用高精度的外部定位方式(包括但不限于激光扫描方式、摄像头定位方式)，定位图像‑深度传感器的姿态信息，实时重建三维场景。本发明技术方案的优点在于能够更快更稳定地重建三维场景，同时解决重建场景和实际场景缩放比例(scaling)的偏差问题。

技术领域

本发明涉及一种三维场景重建的方法与装置，尤其是一种应用于虚拟现实、增强现实或混合现实的三维场景重建的方法与装置。

背景技术

虚拟现实(virtual reality，VR)技术是利用电脑模拟产生一个三维空间的虚拟世界，通过头戴显示设备(Head Mounted Display，HMD)提供给用户关于视觉等感官的模拟，让用户仿佛身临其境，由于其逼真的效果，被广泛应用于教育、医学、交通等领域，引起越来越多的关注。

增强现实(Augmented Reality，AR)，是一种实时地计算头戴显示设备位置及角度并增加待显示图像的技术，此项技术可以在头戴显示设备屏幕上将虚拟世界与现实世界融合并实现交互。

混合现实(Mixed Reality，MR)指的是结合真实和虚拟世界创造了新的环境和可视化，物理实体和数字对象共存并能实时相互作用，以用来模拟真实物体。

三维场景重建(3D reconstruction)技术是指通过计算机视觉和计算机绘图重现真实物体形状与姿态的过程。为了使虚拟现实、增强现实和混合现实场景更加逼真或需要将现实场景投射入虚拟现实、增强现实和混合现实场景中，需要精确、高效的三维场景重建技术。

现有技术中三维场景重建常采用彩色图像重建方法或深度图像重建方法，随着技术的发展，出现了将二者结合的图像-深度信息的3D重建算法，比如RGB-D SLAM(Simultaneous Localization And Mapping)等算法，需要同时计算图像-深度传感器的姿态和待重建场景，场景重建的准确性直接受到传感器姿态估计结果的影响；也有些方法在SLAM算法基础上加入了IMU(惯性测量单元)，用以辅助图像-深度传感器的姿态估计，IMU可以提供图像-深度传感器的角速度和加速度信息，经过积分之后便可以得到图像-深度传感器的旋转角度和移动距离，然而由于惯性传感器本身的测量误差，使得其获得的角速度与加速度信息也存在误差，特别是移动距离，往往和实际位移存在较大偏差，从而使重建场景和实际场景存在偏差，同时还可能存在缩放比例(scaling)上的差异，比如单目SLAM算法(Monocular SLAM)。

在实际应用中，现有技术需要同时计算图像-深度传感器的姿态和待重建场景，因此存在复杂度高和稳定性差的问题，例如基于图像的算法要求待重建场景中有足够的特征点，对于缺乏特征点的场景(白色墙面等)，效果较差；基于深度传感器的算法要求传感器的运动不能过于剧烈；基于多传感器融合的算法，计算复杂度较高。

为了解决上述问题，本发明设计了一种三维场景重建的方法与装置，用于解决室内环境中，有限范围内的场景重建，利用高精度的外部定位方式，配合图像-深度传感器的IMU定位信息，能够更快更稳定地重建3D场景，同时解决重建场景和实际场景缩放比例(scaling)上的偏差。

发明内容

本发明目的是：本发明设计了一种三维场景重建的方法与装置，用于完成室内环境中，有限范围内的场景重建，解决重建场景和实际场景缩放比例(scaling)的偏差，保证重建3D场景的实时性与稳定性。

本发明的技术方案是：设计一种三维场景重建的方法与装置，利用高精度的外部定位方式，所述外部定位方式包括但不限于激光扫描方式(Lighthouse)、摄像头定位方式，配合头戴显示设备的IMU定位信息以及图像-深度传感器，用于完成室内环境中有限范围内的场景重建；

具体三维场景重建方法技术路线如下：