[发明专利]一种使用RGBD相机跟踪柔性物体形变的方法及系统

权利要求书

1.一种使用RGBD相机跟踪柔性物体形变的方法，其特征在于，包括：

步骤S1：基于Grab Cut从RGBD相机输出的图片序列中根据RGB值分割出目标物体，获取其对应的深度数据，并转换为目标点云，其中，所述图片序列包括：RGB图片和深度图片；

步骤S2：基于Kinect Fusion利用所述目标点云对所述目标物体进行三维重建，通过3D建模软件半自动或手动对其进一步调整，构建所述目标物体的几何模型；根据所述几何模型，并基于本构模型和解算器，构建所述目标物体的物理模型；

步骤S3：对所述目标点云执行空间均匀降采样和降噪操作；对所述目标点云和所述几何模型表面上顶点集合进行尺度和空间位置的统一；利用SAC-IA和NICP刚性配准所述目标点云和所述几何模型；利用最近点关系在所述目标点云和所述几何模型的表面顶点集合之间构建点对应关系；根据所述点对应关系给所述物理模型施加外部弹性约束，计算在当前所述外部弹性约束下的整体平衡状态，并迭代此过程以使得所述物理模型形变至理想状态，得到形变后的物理模型；

步骤S4：根据所述RGBD相机的内参和经过刚性配准得到的变换矩阵，将所述形变后的物理模型反向投影至所述图片序列。

2.根据权利要求1所述的使用RGBD相机跟踪柔性物体形变的方法，其特征在于，所述步骤S1：基于Grab Cut从RGBD相机输出的图片序列中根据RGB值分割出目标物体，获取其对应的深度数据，并转换为目标点云，其中，所述图片序列包括：RGB图片和深度图片，具体包括：

步骤S11：根据所述RGB图片确定所述目标物体的大致位置，利用其RGB值分别建立高斯混合模型GMM，获取所述RGB图片中的像素属于前景或者背景的概率，使用最小割使得整张图片的Gibbs能量最小，并利用分割结果更新前景和背景的高斯混合模型，并迭代此过程，直至获得所述目标物体的分割的掩膜Mask；其中，Gibbs能量计算公式为下述公式(1)：

其中，E(α,k,θ,p)代表目标函数，[·]表示限制条件，||·||表示向量的模，α_i∈[0,1]代表第i个像素属于前景或背景，α为α_i组成的向量，k_i代表第i个像素所属的GMM模型中的分量，k为k_i组成的向量，θ代表GMM模型的参数，n为整张图片中像素的个数，p,p_i分别表示像素集合与第i个像素，D代表像素p_i在通过α_i确定属于背景或前景及通过k_i确定了所属的高斯分量的情况下，属于前景或者背景的概率的负对数；公式(1)中加号后为平滑项，体现邻域间颜色空间不连续的惩罚，γ为平滑项的权值，C表示相邻的像素对集合，β由图像的对比度确定，对比度大时，其值较小，反之较大，目的是稳定平滑项的大小；

步骤S12：根据所述掩膜Mask将所述深度数据中与所述目标物体对应的部分分割出来，其中任意一个所述像素p_i通过下述公式(2)转换为所述目标点云：

(x′_i,y′_i,z′_i)＝(x_i×d_i,y_i×d_i,d_i) (2)

其中，x′_i,y′_i,z′_i为像素p_i对应的所述目标点云的坐标，x_i,y_i,d_i为所述RGBD相机所输出与p_i对应的所述深度数据。