[发明专利]联合刚性运动和非刚性形变的三维重建方法及装置

权利要求书

1.一种联合刚性运动和非刚性形变的三维重建方法，其特征在于，包括以下步骤：

对目标对象进行基于深度相机的拍摄，以得到单张深度图像，通过实时视频帧率深度点云获取，对动态对象进行深度图拍摄以得到逐帧深度点云；

通过三维骨架提取算法对深度点云进行三维骨架提取；

将所述单张深度图像变换为三维点云，并获取所述三维点云和重建模型顶点之间的匹配点对，具体地：建立三维模型与云匹配点对，计算当前帧三维点云与已重建模型顶点之间的匹配点对；所述将所述单张深度图像变换为三维点云，进一步包括：通过深度相机的内参矩阵将所述单张深度图像投影到三维空间中，以生成所述三维点云，其中，深度图投影公式为：其中，u，v为像素坐标，d(u，v)为深度图像上像素(u，v)位置处的深度值，为所述深度相机的内参矩阵；

根据所述匹配点对和三维骨架信息建立能量函数，并求解所述重建模型上每一个顶点的非刚性运动位置变换参数并优化对象骨架参数，具体地：同时使用刚性运动约束项E_s和非刚性运动约束项E_n进行对象运动的优化求解，同时使用了单一深度图像进行对象刚性骨架约束项E_j对求解的刚性运动进行约束，其中，所述能量函数为：E_t＝λ_nE_n+λ_sE_s+λ_jE_j+λ_gE_g+λ_bE_b，其中，E_t为总能量项，E_n为非刚性表面形变约束项，E_s为刚性骨架运动约束项，E_j为刚性骨架识别约束项，E_g为局部刚性运动约束项，E_b为非刚性形变一致性约束项，λ_n、λ_s、λ_j和λ_g分别为对应各个约束项的权重系数，其中，

其中，u_i表示同一匹配点对中三维点云的位置坐标，c_i表示匹配点对集合中的第i个元素，所述非刚性表面形变约束项中和分别表示经过非刚性形变驱动后的模型顶点坐标及其法向，所述刚性骨架运动约束项中和分别表示经过对象骨架运动驱动后的模型顶点坐标及其法向，和分别代表受目标刚性运动驱动后的模型顶点坐标与受三维骨架估计所得到的运动驱动后的模型顶点坐标，所述局部刚性运动约束项中，i表示模型上第i个顶点，表示模型上第i个顶点周围的邻近顶点的集合，和分别代表已知非刚性运动对模型表面顶点v_i和v_j的驱动作用，和代表作用在v_i和v_j上的非刚性运动同时作用在v_j上的位置变换效果；

对所述能量函数进行GPU优化求解，以获得每个表面顶点的非刚性形变，并根据求解结果将前一帧的重建三维模型进行形变，使得形变模型与当前帧三维点云进行对齐；以及

融合当前帧三维点云与所述形变模型，以获得当前帧的更新后的模型，以进入下一帧的迭代。

2.根据权利要求1所述的联合刚性运动和非刚性形变的三维重建方法，其特征在于，根据表面非刚性形变和对象刚性骨架运动驱动模型顶点，其中，计算公式为：

其中，为作用于顶点v_i的变形矩阵，包括旋转和平移两部分；为该变形矩阵的旋转部分；为对顶点v_i有驱动作用的骨骼的集合；α_i，j为第j个骨骼对第i个模型顶点的驱动作用的权重，表示该骨骼对该顶点驱动作用的强弱；T_bj为第j个骨骼自身的运动变形矩阵，rot(T_bj)为该变形矩阵的旋转部分。