[发明专利]一种基于Kinectv2的完整物体实时三维重建方法

权利要求书

1.一种基于Kinect2.0的物体完整实时三维重建方法，其特征在于，包括数据采集→深度补全→点云处理→ICP点云配准→点云融合→曲面重建。

2.根据权利要求1所述的一种基于Kinect2.0的物体完整实时三维重建方法，其特征在于：所述基于Kinect2.0的物体完整实时三维重建方法如下：

(1)数据采集：通过Kinect2.0获取深度图像和彩色图像数据，对获取的深度图像进行噪声预处理，而后将彩色图与降噪后的深度图进行对齐，将结果输入进深度补全网络中。

(2)深度补全：在Torch框架中将彩色图与深度图放入设计好的深度补全网络中，利用彩色图的信息对深度图缺失部分进行预测，并将结合原始深度图进行全局优化，得到补全后深度图后通过相机内参矩阵将其转化为点云数据。

(3)点云处理：通过点云各点的坐标信息计算其法向量，为之后的点云配准中对应点匹配做准备。

(4)ICP点云配准：全局数据立方体得到的预测点云数据与当前帧的点云数据进行配准，得到当前点云的配准变换矩阵。

(5)点云融合：根据之前得到的配准变换矩阵，将当前帧的点云数据与全局数据立方体融合，然后通过光线投射算法，由全局数据立方体计算出新的预测数据，用于下一帧点云数据配准，同时对当前视角下的点云数据表面进行渲染，实时观察重建情况。

(6)曲面重建：当采集的所有帧点云数据都融合完后，将全局点云数据从全局数据立方体中提取出来，通过曲面重建算法重建出物体表面，形成完整的三维模型。

3.根据权利要求2所述的一种基于Kinect2.0的物体完整实时三维重建方法，其特征在于：所述点云处理中需要用到图像坐标系、相机坐标系以及世界坐标系。

4.根据权利要求2所述的一种基于Kinect2.0的物体完整实时三维重建方法，其特征在于：所述点云融合中的点云数据与全局数据立方体融合具体为：初始化时，全局立方体中所有体素值为D＝1,W＝0，相机的初始位置设为(1.5,1.5,-0.3)，便于相机获得较好的视野，立方体中心坐标为(1.5,1.5,1.5)。在获取第i帧点云数据后，将其融入立方体中需要进行如下步骤：

(1)首先在全局坐标系下获取体素的坐标V^g(x,y,z)，然后通过ICP配准得到变换矩阵并将其从全局坐标系转换到相机坐标系得到V(x,y,z)；

(2)将步骤(1)得到的相机坐标V(x,y,z)根据相机内参矩阵转换到图像坐标系，得到对应图像坐标(u,v)；

(3)如果第一帧深度图像(u,v)处的深度值D(u,v)不为0，则比较D(u,v)与体素相机坐标V(x,y,z)中z的大小，如果D(u,v)＞z，说明此体素距离相机更近，在重建表面的外部；如果D(u,v)＜z，说明此体素距离相机更远，在重建表面的内部；

(4)最后根据(3)中的结果更新该体素中距离D和权重W。

更新所用的公式如下所示：

W_i(x,y,z)＝min(max weight,W_i-1(x,y,z)+1)

sdf_i＝V.z-D_i(u,v)

其中W_i(x,y,z)为当前帧全局数据立方体中体素的权重，W_i-1(x,y,z)为上一帧全局数据立方体中体素的权重，max weight为最大权重，本文中设定为1，D_i(x,y,z)为当前帧全局数据立方体中体素到物体表面的距离，D_i-1(x,y,z)为上一帧全局数据立方体中体素到物体表面的距离，d_i(x,y,z)为根据当前帧深度数据计算得到的全局数据立方体中体素到物体表面的距离，V.z表示体素在相机坐标系下的z轴坐标，D_i(u,v)表示当前帧深度图像(u,v)处的深度值，maxtrunctaion,mintruncation为截断范围。