[发明专利]一种基于Kinectv2的完整物体实时三维重建方法

说明书

本发明涉及一种基于Kinectv2的完整物体实时三维重建方法，包括数据采集→深度补全→点云处理→ICP点云配准→点云融合→曲面重建。本发明的有益效果是：该基于Kinect2.0的物体完整实时三维重建方法通过数据采集、深度补全、点云处理、ICP点云配准、点云融合及曲面重建等步骤的共同作用，使得该方法对物体完整实时三维重建的效果提升，替代传统的三维重建一般使用多张照片、单目或双目相机进行深度获取，这个过程计算量大，在实时性和精度方面很难同时保证，而专业的高精度三维扫描设备价格过高，使得三维重建技术的应用和普及度存在限制的缺陷。

技术领域

本发明涉及计算机视觉技术领域，具体为一种基于Kinect2.0的物体完整实时三维重建方法。

背景技术

伴随着科技的进步和生活需求的多样化，计算机视觉技术经过不断迭代和更新，已经可以帮助我们在数字图像和视频中获取更多信息，这其中，三维重建技术近几年成为持续关注的热点，将图像分析由二维空间转向三维，以更加立体的视角提供给我们更多优化的解决方案。

现有的三维重建一般使用多张照片、单目或双目相机进行深度获取，这个过程计算量大，在实时性和精度方面很难同时保证，而专业的高精度三维扫描设备价格过高，使得三维重建技术的应用和普及度受到限制。

发明内容

本发明的目的在于提供一种基于Kinect2.0的物体完整实时三维重建方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于Kinect2.0的物体完整实时三维重建方法，包括数据采集→深度补全→点云处理→ICP点云配准→点云融合→曲面重建。

优选的，所述基于Kinect2.0的物体完整实时三维重建方法如下：

(1)数据采集：通过Kinect2.0获取深度图像和彩色图像数据，对获取的深度图像进行噪声预处理，而后将彩色图与降噪后的深度图进行对齐，将结果输入进深度补全网络中。

(2)深度补全：在Torch框架中将彩色图与深度图放入设计好的深度补全网络中，利用彩色图的信息对深度图缺失部分进行预测，并将结合原始深度图进行全局优化，得到补全后深度图后通过相机内参矩阵将其转化为点云数据。

(3)点云处理：通过点云各点的坐标信息计算其法向量，为之后的点云配准中对应点匹配做准备。

(4)ICP点云配准：全局数据立方体得到的预测点云数据与当前帧的点云数据进行配准，得到当前点云的配准变换矩阵。

(5)点云融合：根据之前得到的配准变换矩阵，将当前帧的点云数据与全局数据立方体融合，然后通过光线投射算法，由全局数据立方体计算出新的预测数据，用于下一帧点云数据配准，同时对当前视角下的点云数据表面进行渲染，实时观察重建情况。

(6)曲面重建：当采集的所有帧点云数据都融合完后，将全局点云数据从全局数据立方体中提取出来，通过曲面重建算法重建出物体表面，形成完整的三维模型。

优选的，所述点云处理中需要用到图像坐标系、相机坐标系以及世界坐标系。

优选的，所述点云融合中的点云数据与全局数据立方体融合具体为：初始化时，全局立方体中所有体素值为D＝1,W＝0，相机的初始位置设为 (1.5,1.5,-0.3)，便于相机获得较好的视野，立方体中心坐标为(1.5,1.5,1.5)。在获取第i帧点云数据后，将其融入立方体中需要进行如下步骤：

(1)首先在全局坐标系下获取体素的坐标V^g(x,y,z)，然后通过ICP配准得到变换矩阵并将其从全局坐标系转换到相机坐标系得到V(x,y,z)；

(2)将步骤(1)得到的相机坐标V(x,y,z)根据相机内参矩阵转换到图像坐标系，得到对应图像坐标(u,v)；