[发明专利]表演者的无标记点三维实时捕获系统

说明书

技术领域

本发明隶属于一般的图像数据处理领域，关注的是表演者的三维捕捉问题，涉及的是不使用标记点、实时地捕捉表演者的形态（形状和姿态），重建出相应的动态三维模型序列。

背景技术

捕捉表演者的三维形态是图像数据处理领域的一个重要问题，是重建逼真的动态三维模型序列的关键技术，也是表演者的三维重建、处理等诸多应用问题的重要基础。

表演者的捕捉（Performance Capture）是指通过摄像机捕捉表演者的形态（形状和姿态），并在计算机虚拟场景中创建表演者的动态三维模型，重建出的模型不仅具有表演者逼真的个体形状，而且具有个体的姿态特性。

表演捕捉技术直到卡梅隆拍摄《阿凡达》的时候才有了质的飞跃。表演捕捉可同时在录制过程中以三维特效的形式，将表演者的表情及肢体行为真实的再现出来，并通过完善的数字摄影系统提供全方位的拍摄信息，最终使创造出来表演者的虚拟角色（动态三维模型序列）。

本发明进一步推进了表演者的捕捉技术，无需标记点，使用低成本的RGB-Depth相机，即可实时地捕捉并重建出表演者的动态三维信息。

以Kinect等为代表的新型RGB-Depth视频相机提供了全新的数据获取方式。与之前的数据获取技术不同，数据获取不需要通过在被捕捉对象的身体部位安置多个标记（感应点）来完成RGB-Depth数据的获取，捕捉速率为30帧/秒。从而，它具有非接触式、成本低（不依赖特殊设备）和智能化等优点。Kinect等设备硬件技术的发展使得数据获取设备便宜（2013年9月市场价约1500元人民币）而且便捷，为表演捕捉技术的改进奠定了硬件基础。

在封闭的房间式捕捉环境下，本发明将使用多个标定好的RGB-Depth视频相机，以30帧/秒的速率捕捉表演者的图像序列，借助模板拟合技术，实时地重建出表示表演者形态的动态三维模型序列。

根据专利文献检索，与本发明相关的有专利CN200910046517.3、专利US 8284157 B2与论文《Performance Capture from Sparse Multi-view Video》。专利CN200910046517.3主要用于有标记点的动作捕捉。表演者需要穿一套具有关节标志点的演示服，该演示服以黑色为底色，在各主要关节处绑上不同颜色的色带作为标志点。论文《Performance Capture from Sparse Multi-view Video》处理的是多个RGB相机所捕获的视频，但不能达到实时的重建效果。专利US 8284157 B2可以达到实时的效果，采用基于骨架的蒙皮驱动完成三维动画的实时生成。但其目标是生成表演者骨架所驱动的动画，并不是实时重建出表演者的动态三维模型序列。因此，尚未见到表演者的无标记点三维实时捕捉系统的有关报道。

发明内容

本发明提出一套表演者的无标记点三维实时捕捉系统。面向多目RGB-Depth相机获取的深度视频序列，实时重建出表演者的三维形态（形状和姿态）。

本发明从多目RGB-Depth相机实时重建表演者的动态三维模型，其工作流程（图1）包括房间式采集硬件系统的建立、多目RGB-Depth相机的全局注册、实时表演捕捉三个步骤。

第一步，建立房间式的采集硬件系统，包括两个步骤：多目RGB-Depth相机配置、封闭式采集间的建立，具体过程如下：

1.1 通过分析相机的参数，提出一种多目RGB-Depth相机的配置模型。该模型综合考虑了相机的视角范围、误差精度等参数，保证多目相机能有效覆盖表演者。

基于人体测量学知识，身高范围不超过2.4米，固定点的肢体活动范围半径一般不超过0.5米。简而化之，表演者的空间范围可视作半径为0.5米、高度为2.4米的圆柱体C。

下面以Kinect这款RGB-Depth相机为例，说明多目相机的覆盖配置模型。Kinect的相关参数如下，可视范围：水平视角57度，垂直视角43度；传感深度范围：0.4米至4米；精度：在1米处误差为2毫米，2米处为5毫米，3米处则为2.5厘米。对于表演捕捉，当前误差范围规定一般不超过5毫米，这就要求Kinect与表演者的距离不能超过2米。