[发明专利]基于深度相机的实时物体三维重建方法

说明书

基于深度相机的实时物体三维重建方法，包括从深度相机中按顺序获取一帧深度图像作为当前帧并进行预处理；通过质心ICP算法估算出的当前帧和前一帧的相对位姿，用前一帧的精确位姿与当前帧和前一帧的相对位姿计算得到当前帧相机的精确位姿；利用相机的精确位姿将当前帧数据融合到局部TSDF中；从局部TSDF中获取步骤3中融合于局部TSDF的点云，以该点云作为前一帧的点云，或者将局部TSDF与全局TSDF进行匹配融合，并将局部TSDF初始化。本发明具有能够避免ICP匹配算法失效，降低累积误差提高模型精度的适用于重建指定物体或人的优点。

技术领域

本发明涉及三维成像领域，特别是一种能够实时地对物体或人体进行三维重建的方法。

背景技术

三维重建技术一直是计算机图形学和计算机视觉领域的热点课题。三维重建就是从输入数据中建立3D模型。随着各种面向普通消费者的深度相机的出现，基于深度相机的三维扫描和重建技术得到了飞速发展。对于现实场景中的点，深度相机扫描得到的每一帧数据不仅包括了场景中的点的彩色RGB图像，还包括每个点到深度相机所在的垂直平面的距离值。这个距离值成为深度值(depth)，这些深度值共同组成了这一帧的深度图像。

深度图像可以看做是一幅灰度图像，图像中的每一个点的灰度值代表了这个点在现实中的位置到相机所在垂直平面的真实距离距离。RGB图像中的每个点都会对应一个在相机的局部坐标系中的三维点。因此，深度相机的每一帧的深度图像相当于一个在相机的局部三维坐标系中的点云模型。基于深度相机的三维重建技术所使用的输入数据是RGB图像和深度图像，因此，这类技术也被称为基于RGBD数据的三维重建技术(D表示深度值，Depth)。

基于深度相机的三维重建的核心问题有：1、深度相机的数据量非常庞大，如何在重建过程中处理庞大的数据。并且，深度相机所得到的深度数据是存在误差的，即使相机位置固定，现实场景中的点在不同帧中的深度值也会有所区别，那么如何估计点的最终位置？2、相机位置的估计，即如何在位置环境中通过获取周围的环境数据来确定自己所在的位置？

Newcombe等人于2011年发表的“KinectFusion:real-time 3D reconstructionand interaction using a moving depth camera”提出了三维重建的经典方法KinectFusion，使用迭代最近点(Iterative closest point，ICP)方法来解决上述核心问题。KinectFusion提出在世界坐标系中定义一个立方体，并把该立方体按照一定的分辨率切割成小立方体，使用截断有符号距离函数(truncated signed distance function,TSDF)的方法来更新每个小网格中的一个数值，该数值代表该网格到模型表面的最近距离(TSDF值)。对于每个网格，在每一帧都会更新并记录TSDF值，通过TSDF值还原出重建模型。通过不断更新并“融合”TSDF值，来接近所需要的真实值。KinectFusion方法定义的立方体中的所有的网格中的TSDF都需要记录，即便这个网格在显示场景中根本没有点，这就造成极大的内存空间的浪费，并限制了扫描范围。

Thomas Whelan等人在2015年发表Kintinuous“Robust Real-Time VisualOdometry for Dense RGB-D Mapping”是在KinectFusion的基础上加入移动TSDF的技巧从而达到大范围场景重建，并且提出ICP+RGBD匹配算法提高点云匹配精度，加入回环检测从而平摊累积误差，提高估计的相机位姿精度。

但是无论是KinectFusion还是Kintinuous，都存在以下缺点：

1、未将物体或人从场景中分割出来，在重建对象为场景中的物体或人时，需要在重建后的三维模型中分割对象，分割的复杂度高，因此，不适合用于重建对象为场景中的物体或人的情况。