[发明专利]快速运动下的场景三维重建方法

说明书

本发明属于计算机视觉与计算机图形学相结合的领域。本发明公开了一种相机快速运动下的场景三维重建方法。本发明步骤如下：步骤1：预处理；步骤2：建立模糊模型；步骤3：相机姿态估计；步骤4：从深度相机采集的模糊深度图中提取出清晰深度图像，将清晰深度图像计算得到的三维点云模型与当前场景模型进行融合，获得新的场景模型。本发明利用相机模糊原理，建立快速运动下的相机运动模型，在进行相机姿态估计时，先利用图像信息估计出一个粗糙的相机姿态作为ICP的初始值，再利用ICP和深度图得到相对准确的相机姿态信息，最后利用能量函数优化该相机姿态信息。传统方法单纯使用ICP方法估计相机姿态，这在快速运动的情况下是无法实现的。

技术领域

本发明属于计算机视觉与计算机图形学相结合的领域，尤其针对场景三维重建，具体涉及一种相机快速运动下的场景三维重建方法。

背景技术

近几年以来，随着深度感知传感器技术的演进，实现三维场景的实时深度扫描成为可能。业界提出了多个三维场景重建方法，并展现了较好的重建结果，然而这些方法均无法适用于相机快速运动的情况。业界当前的方法多基于深度相机，直接记录场景的深度信息，而当相机运动过快时，所采集的深度图像将产生模糊，因此无法直接通过所采集的图形进行场景重建。

另一方面，实现基于深度图像的场景三维重建的技术其核心是将所拍摄的不同视角下的场景深度图序列融合在一起，形成三维模型。该技术的关键是估计相邻图像帧之间的相机相对运动姿态，而业界多采用迭代最近点方法(ICP)来估计由两个深度帧获得的点云之间的对应关系。然后，两点云可以通过估计的相机运动合并。然而该方法容易陷入局部最优解，尤其是在相机快速运动的情况下，无法直接通过迭代最近点方法得到相机相对运动姿态。

因此，目前业界提出的多个三维重建方法应用于快速运动的场景时，由于深度图像的模糊以及无法估计出准确的相机相对运动姿态，导致了它们无法在快速运动的情况下有效重建出场景的三维模型。

参考文献：

[1]Bloesch M,Burri M,Omari S,et al.Iterated extended Kalman filterbased visual-inertial odometry using direct photometric feedback[J].TheInternational Journal of Robotics Research,2017,36(10):1053-1072；

[2]Dai S,Wu Y.Motion from blur[C]//Computer Vision and PatternRecognition,2008.CVPR 2008.IEEE Conference on.IEEE,2008:1-8.

发明内容

本发明的目的是针对现有技术的不足，提出一种能在快速运动的情况下对场景进行三维重建的方法。

在快速运动下，由于相机的成像原理导致了无论是深度相机还是彩色相机，所拍出的图像均是模糊的。我们不能直接采用迭代最近点方法(ICP)利用模糊的深度图进行相机姿态估计，因此我们在这里利用彩色图像，采用了基于颜色图像的特征区块得到相对准确的帧间相机相对姿态[1],利用其作为相机姿态的初始值进行后续的优化。步骤如下：

步骤1：预处理。

1.1将6DOF的相机姿态变化矩阵表示为如下形式: