[发明专利]运动捕捉中的FACS清洁

说明书

相关申请的交叉引用

本申请根据35U.S.C.§119要求2006年7月28日提交的题为“FACS Cleaning in Motion Capture”的共同未决的美国临时专利申请No. 60/834,132的优先权，特此通过引用将该申请的公开内容结合进来。

本申请还通过引用将共同转让的2003年5月23日提交的题为 “System and Method for Animating a Digital Facial Model”的美国专利 7,068,277、2003年5月1日提交的题为“System and Method for Capturing Facial and Body Motion”的美国专利申请10/427,114以及2007年4月24 日提交的题为“Performance Driven Facial Animation”的美国专利申请 11/739,448的公开内容结合进来。

技术领域

本发明一般地涉及运动捕捉，更具体而言涉及用于清洁和稳定面部运 动标志数据(facial motion marker data)的方法和系统。

背景技术

运动捕捉系统被用于捕捉真实对象的运动，并将其映射到计算机生成 的对象上，以作为使之动画化的方式。这些系统常在电影和视频游戏的生 产中被用于创建对象或人的数字表示，该数字表示被用作源数据，以创建 计算机图形(“CG”)动画。在典型的系统中，演员穿着一套服装，该套 服装上的各个位置处附着了标志(例如，小的反射性标志被附着到身体和 四肢)。然后，在标志被照亮的同时，精确布置的数字相机从不同角度记 录在捕捉空间中演员的身体运动。系统随后分析图像以确定在每一帧中演 员服装上的标志的位置(例如，空间坐标)和方向。通过跟踪标志的位 置，系统创建在一段时间中标志的空间表示，并且构建运动中的演员的数 字表示。该运动随后被应用到虚拟空间中的数字模型，该数字模型随后可 被赋予纹理和颜色，以产生演员和/或表演的完整CG表示。该技术已被特 技效果公司用来在许多流行的电影中产生逼真的动画。

捕捉表现演员面部表情的运动要求使用与捕捉身体运动相类似的方 法。但是，要求演员在其面部穿着“服装”是不实际的。另外，人类面部 表情涉及比典型身体运动微妙得多的面部肌肉运动。为了进行面部运动捕 捉，尺寸相对较小的标志被直接附于演员的面部、被定位来限定面部运 动，并且被足够大量地施加以捕捉面部肌肉运动的许多微妙类型。但是， 大量的标志及其接近度使得捕捉后的帧到帧标志跟踪变得很困难，并且要 求大量手工处理来确保每个个体标志都被准确跟踪。

发明内容

本发明的实施例包括用于实现清洁面部标志数据的技术的系统、方 法、装置和计算机程序。

在一个方面中，公开了一种清洁面部标志数据的方法。该方法包括： 将检验面部标志数据的帧抽选成代表性的关键面部姿态的帧；利用代表性 的关键面部姿态的帧来生成面部姿态矩阵；以及利用面部姿态矩阵来清洁 传入的面部标志数据的帧。

在另一个方面中，公开了一种面部标志数据清洁系统。该系统包括： 帧抽选器模块，用于接收检验面部标志数据的帧并且生成代表性的关键面 部姿态的帧；FACS模块，用于接收代表性的关键面部姿态的帧并且生成 面部姿态矩阵；以及清洁器模块，用于接收传入的面部标志数据的帧并且 使用面部姿态矩阵来生成经过清洁的面部标志数据的帧。

在查阅以下详细描述和附图之后，本领域的普通技术人员将很清楚本 发明的其他特征和优点。

附图说明

本发明的结构和操作细节一部分可通过研究附图来掌握，附图中：

图1是FACS清洁的示例性方法的流程图；

图2是清洁面部标志数据的帧的示例性方法的流程图；

图3是向面部表情矩阵添加新的关键面部表情的示例性方法的流程 图；

图4是使用可变速率的FACS清洁的示例性方法的流程图；

图5是FACS清洁系统的示例性实现方式的功能框图；

图6是FACS清洁系统的示例性实现方式的功能框图；

图7是使用可变速率的FACS清洁系统的示例性实现方式的功能框 图；

图8是示例性的面部运动捕捉系统的功能框图；