[发明专利]基于深度相机的实时物体三维重建方法

权利要求书

1.基于深度相机的实时物体三维重建方法，包括以下步骤：

步骤1：从深度相机中按顺序获取一帧深度图像作为当前帧，对当前帧进行预处理，预处理包括在深度图像中将对象从场景中分割出来、将分割出来的对象数据去除边界噪声，将去噪后的对象数据生成有序点云和用PCA计算点云法向量；

在深度图像中将对象从场景中分割出来的方法是：

步骤1-1-1：压缩当前帧深度图像的深度图数据，压缩后的深度图数据的每一个数值代表一个区域的深度值；

步骤1-1-2：计算压缩后的深度图的深度直方图，取前N个峰值的深度值；判断这N个峰值的深度值是否在物体的深度值范围内，物体的深度值范围人为设定，若否，则放弃当前帧深度图像；若有多个峰值的深度值在物体的深度值范围内、则将前N个峰值的最大值作为输出值，若只有一个峰值的深度值在物体的深度值范围内、则将该峰值的深度值作为输出值，记为D_H单位为m；

步骤1-1-3：将D_H-0.2设为下阈值，D_H+0.2设为上阈值，获得物体深度图D_o：

D(u，v)表示在像素点(u，v)上的原始深度值；

步骤1-1中的压缩公式为：其中，为向下取整函数，(u，v)表示像素点坐标，D(u，v)表示在像素点(u，v)上的原始深度值，D_s(u，v)表示在像素点(u，v)压缩之后的深度值；

将分割出来的对象数据去除边界噪声的方法为：采用7X7的窗口在整幅深度图像上进行滑窗，计算深度值与窗口中心的深度值的差值大于200mm的像素个数，像素个数记为count，若count5时，就认为当前窗口中心是属于边界处或者噪点；

生成点云的方法为：

步骤1-3-1：有序点云有相机的针孔模型获得，相机的针孔模型为：得到x_c＝z_c(u-u₀)/f_x，y_c＝z_x(v-v₀)/f_y，z_c＝D(u，v)，为有序点云在第i帧数据在(u，v)位置上的三维坐标；

步骤1-3-2：对于点云中的每个点用N×N的窗口以点为中心获取与点最相近的k个相邻点，为这k个相邻点计算一个最小二乘意义上的局部平面Q，其中为平面Q的法向量，d为平面Q到坐标原点的距离；

步骤1-3-3：获得平面Q上的质心对半正定的协方差矩阵M进行特征值分解，将对应于M最小特征值的特征向量作为点的法向量；其中，为点周围的任意一点，的坐标由步骤1-3-1计算获得；

步骤2：判断当前帧是否第一帧，若是，则获取相机的物理位姿作为相机的精确位姿，进入步骤3；若否，则通过质心ICP算法估算出的当前帧和前一帧的相对位姿，用前一帧的精确位姿与当前帧和前一帧的相对位姿计算得到当前帧相机的精确位姿，进入步骤3；

则通过质法ICP算法估算出的当前帧和前一帧的相对位姿具体包括：

步骤2-1：计算当前帧和前一帧之间相机的平移量的初始值：其中，为第k-1帧点云的质心，为第k帧点云的质心，(t_x0，t_y0，t_z0)^T为第k帧与第k-1帧相机的相对平移量的初始值；

步骤2-2：第k帧相机的姿态表示为：其中，SE₃：＝{R，t|R∈SO₃，t∈R³}，

步骤2-3：使用ICP算法估算出第k帧与第k-1帧相机的相对位姿；

步骤3：利用相机的精确位姿将当前帧数据融合到局部TSDF中；

将当前帧数据融合到局部TSDF中的方法为：

步骤3-1：构造表示指定尺寸的三维空间的立方体，并将该立方体细分为体素，每个体素包含TSDF值和权重值为当前体素的坐标值；

每个体素通过TSDF(截断符号距离函数)存储该体素到真实场景表面的截断距离；体素位于真实场景表面之前时，TSDF值为正；体素被真实场景表面遮挡时，TSDF值为负；体素在真实场景表面上的点时，TSDF值为零；

步骤3-2：TSDF值为：其中，其中：表示点在第k-1帧的权重值，为在像素坐标下第k帧深度值，D_k使用步骤1获得去除边界噪点后的物体深度图，λ表示深度值为1时、光线方向上点与相机光心之间的距离，π(·)表示将点投影到像素平面的函数，μ表示截断距离；

权重值为：其中：W_η表示权重值的最大值，

步骤4：判断是否有结束指令，若否，则从局部TSDF中获取步骤3中融合于局部TSDF的点云，以该点云作为前一帧的点云，重复步骤1-4；

若是，将局部TSDF与全局TSDF进行匹配融合，并将局部TSDF初始化；判断是否有程序结束指令，若是，从全局TSDF提取点云，并且使用贪婪三角化获得物体模型；若否，则从全局TSDF中获取在上一帧相机位姿下获取前一帧的点云，重复步骤1-步骤4；

局部TSDF与全局TSDF进行匹配融合的方法为：

步骤4-1：提取局部TSDF中零表面的点云，记为L；

步骤4-2：最小化点云L中的点到全局TSDF零表面距离的平方来获得局部TSDF与全局TSDF的相对位姿；

其中，n表示的总点数，表示中第i个点，表示将映射到全局TSDF坐标上，表示在全局TSDF的坐标上的TSDF值，Voxel_x,Voxel_y,Voxel_z分别表示一个体素在x，y，z方向上所占据的空间大小，Volume_minx,Volume_miny,Volume_minz分别表示全局TSDF在x，y，z方向上的最小值，ξ＝(β，γ，α，t_x，t_y，t_z)^T∈R⁶表示局部TSDF与全局TSDF之间的相对位姿；

步骤4-3：将局部TSDF的每个体素转换为

步骤4-3：使用将转移到全局坐标系下，再反映射到全局TSDF空间上得到

步骤4-4：融合公式为：

其中W_η表示权重值的最大值，表示在位置上的全局的TSDF值，表示在位置上的全局的权重值，表示在位置上的全局的TSDF值，表示在位置上的全局的权重值。