[发明专利]一种基于彩色-深度相机的动态物体参数化建模方法

说明书

本发明涉及一种基于彩色‑深度相机的动态物体参数化建模方法，包括以下步骤：S1、获得物体的彩色‑深度图片序列；S2、获取像素级别保边的前景物体mask；S3、进行动作分析，得到目标物体的完整骨骼模型；S4、使用三维重建算法进行三维重建，得到三维重建模型；S5、使用绑定算法把三维重建模型上的每个面片都刚性绑定到骨骼模型上；S6、为已经绑定骨骼模型的三维重建模型生成关键帧动画。本发明的基于彩色‑深度相机的动态物体参数化建模方法通过把重建模型刚性绑定到骨骼模型，实现赋予传感器所扫描物体参数化特性的目的，可高效地分析出视频中物体的关节信息，通过准确的稠密刚性绑定，为物体模型赋予运动学特性。

技术领域

本发明涉及计算机图形学以及计算机视觉技术领域，具体涉及一种基于彩色-深度相机的动态物体参数化建模方法。

背景技术

目前人们可以使用消费级的彩色-深度传感器来获取被扫描物体的高质量的三维重建模型，然后他们所获得的重建模型是静态的，不包含运动学特性。为了增强计算机与重建模型的交互能力，赋予重建模型运动学特性是至关重要的，相比静态的模型，这包含运动学特性的模型是一种更合适的物体参数化方式。物体的运动学特性一般通过骨骼模型来表达。要准确地分析视频流中动态物体的骨骼模型是非常具有挑战性的，即使该物体是一个刚性物体。进一步地，要准确地把物体网格模型逐面片地绑定到骨骼模型的对应骨块上，同样也是具有高挑战性的任务。主流的物体三维重建算法利用彩色-深度相机，通过构建体素化立方体来增量融合观测数据的方式，可以给静态或动态的场景进行高精度的三维重建，如《Dynamicfusion:Reconstruction and tracking of non-rigid scenes in real-time》和《Volumedeform:Real-time volumetric non-rigid reconstruction》。类似的方法，甚至可以对大规模的场景进行三维重建，如《Real-time large-scale dense rgb-dslam with volumetric fusion》。然而，他们获得的重建模型只包含空间信息，并不具备运动学特性。物体运动特性分析的代表性工作为《Mobility fitting using 4d ransac》和《Occlusion-aware reconstruction and manipulation of 3d articulated objects》。前者基于对刚性物体不同动作的聚类，能准确提取出刚性物体的关节信息，但需要先把包含完整动作的子序列从视频中手动分割出来；后者基于普氏分析法来提取物体的关节信息，但需要先对物体的三维模型进行稀疏的模型重建。因此，现有的动态物体建模方法大多不具有运动学特性，而且建模操作麻烦，分析过程也不够高效。

发明内容

本发明为了克服现有的动态物体建模方法大多不具有运动学特性，而且建模操作麻烦，分析过程也不够高效的问题，提供了一种基于彩色-深度相机的动态物体参数化建模方法，通过把重建模型刚性绑定到骨骼模型，实现赋予传感器所扫描物体参数化特性的目的，可高效地分析出视频中物体的关节信息，通过准确的稠密刚性绑定，为物体模型赋予运动学特性。

为解决上述技术问题，本发明提供以下技术方案：

一种基于彩色-深度相机的动态物体参数化建模方法，包括以下步骤：

S1：固定彩色-深度相机，扫描相机视野中的任意动态刚性物体，获得物体的彩色-深度图片序列；

S2：使用前后景分割算法对彩色-深度图片序列进行前景物体分割，获取像素级别保边的前景物体mask；

S3：进行动作分析，得到目标物体的完整骨骼模型；

S4：使用三维重建算法进行三维重建，得到经过前景物体分割后的彩色-深度图序列中的动态物体的三维重建模型；

S5：使用绑定算法把三维重建模型上的每个面片都刚性绑定到骨骼模型上；