[发明专利]一种基于彩色-深度相机的动态物体参数化建模方法

权利要求书

1.一种基于彩色-深度相机的动态物体参数化建模方法，其特征在于，包括以下步骤：

S1：固定彩色-深度相机，扫描相机视野中的任意动态刚性物体，获得物体的彩色-深度图片序列；

S2：使用前后景分割算法对彩色-深度图片序列进行前景物体分割，获取像素级别保边的前景物体mask；所述前后景分割算法包括以下步骤：

S2.1：进行预处理，给定深度图序列D＝[D₁,...,D_L]和彩色图序列I＝[I₁,...,I_L]；

S2.2：通过经典的物体追踪算法来获取指定物体的包围盒，然后基于包围盒内深度值的统计直方图，通过设置指定阈值来二值化包围盒内的每个像素位置，从而得到粗糙的物体分割结果M₀；

S2.3：为M₀建立最小化能量优化模型：

上式中，M为mask的优化结果，E_c和E_d分别为彩色和深度信息的能量函数，λ_m和λ_c和λ_d分别为可调参数，具体地，E_c和E_d分别是基于二维图像像素距离信息结合彩色图像或者深度图像的高斯卷积核的卷积结果，上述能量函数可通过雅克比近似的方式进行迭代求解；

S2.4：优化得到的仅包含指定物体mask的深度图和颜色图，同样记为D＝[D₁,...,D_L]和I＝[I₁,...,I_L]；

S3：进行动作分析，得到目标物体的完整骨骼模型；包括以下步骤：

S3.1：把经过前景物体分割后的彩色-深度图序列按照所设定的步长s和长度l，划分为多个时间上重叠的子序列；

S3.2：对每个子序列的l帧彩色图和深度图，执行4d ransac算法，得到每个子序列中所对应的关节图；

S3.3：对于多个时间上重叠的关节图，依照关节图合并算法，合并多个关节图，得到目标物体的完整骨骼模型；所述关节图合并算法包括以下基本定义：关节模型被抽象为关节图来表示，其中每个关节定义为一条边，即edge，一个刚性分块定义为一个顶点，即node；顶点与顶点之间通过边来连接；在图模型中，除了基本的对顶点和边的增删查功能外，还定义了图模型与图模型之间的一些合并的操作，包括顶点与顶点的合并，边与边的合并，顶点与边的合并，边与顶点的合并；以及最后为了让每个顶点和每条边都拥有全序列生命而利用骨骼连接关系进行的动作变换传播操作；每个node包含起始帧start_frame，刚性分块序号node_id，每帧的node的位置集合centersSet，每帧的动作变换集合transformationsSet，以及表示当前node是否已被处理的状态变量state；每条edge包含起始帧frame，所连接的父分块parent_id和子分块son_id，关节类型jointType，每帧的edge的位置集合positionsSet，每帧的动作变换集合transformationsSet，以及表示当前edge是否已被处理的状态变量state；

S4：使用三维重建算法进行三维重建，得到经过前景物体分割后的彩色-深度图序列中的动态物体的三维重建模型；

S5：使用绑定算法把三维重建模型上的每个面片都刚性绑定到骨骼模型上；

S6：为已经绑定骨骼模型的三维重建模型生成关键帧动画，验证三维重建模型的运动学特性。