[发明专利]表演驱动的脸部动画

说明书

与相关申请的交叉引用

本申请要求2006年4月24日提交的题为“PERFORMANCE DRIVENFACIAL ANIMATION”的共同未决的美国临时专利申请No.60/794,790的优先权。上述专利申请的公开内容通过引用被结合于此。

技术领域

本发明一般地涉及运动捕捉，更具体而言涉及用于利用诸如从运动捕捉系统获得的运动捕捉数据和从视频数据获得的视频图像之类的表演数据(performance data)来生成脸部动画(facial animation)的方法和系统。

背景技术

模拟脸部、其运动以及以看起来真实的方式呈现它是一个困难的问题，虽然从建模的角度以及呈现的角度来看，已经取得了实现外表真实的脸部的进步。更困难的问题是以真实且可信的方式使数字脸部动画化，这种动画将经得起严格审查，其中动画表演之中的微小瑕疵通常都是不可接受的。虽然有经验的动画制作者可以经由传统的关键帧技术来尝试令人满意的脸部动画(程式化的且真实的)，但是，要使所需的结果接近真实影像，这将是一项特别耗时的复杂任务。

除了关键帧技术之外，基于主成分分析(principal componentanalysis)的其他方法也已经被实现来从表演数据开发动画脸部模型。这些方法一般从该数据生成最低维度的模型。另外，由于是基于数学的解决方案，因此这样开发的脸部模型通常在一个或多个方面上看起来不自然。另外，当主成分不对应于能够被调节以实现所需结果的自然的、可识别的脸部运动时，所产生的低维度导致对脸部模型的开发后修改，这对于用户来说很困难且不直观。也就是说，基本向量(利用主成分分析获得)不对应于艺术家以后可以编辑的任何逻辑表达式子集。例如，根据表演数据，可以将同时发生的唇角上升和眉毛上升解读为单成分激活。但是，单成分激活可能不会被分离成唇角和眉毛分别的激活。这样，只希望调节唇角上升的动画制作者如果不也激活眉毛成分就可能无法做到这一点。

因此，需要一种克服了以上所述的传统系统中存在的这些严重问题的系统和方法。

发明内容

本发明提供了用于利用表演数据来生成脸部动画的方法和系统，所述表演数据例如是从运动捕捉系统获得的运动捕捉数据和从视频数据获得的视频图像。

在一个方面中，公开了一种使数字脸部模型动画化的方法。该方法包括：定义多个动作单元；经由动作者的表演来校准该多个动作单元中的每个动作单元；捕捉第一脸部姿态数据；确定多个权重，该多个权重中的每个权重唯一地对应于每个动作单元，该多个权重表征该多个动作单元的加权组合，该加权组合近似第一脸部姿态数据；通过对将每个权重应用到每个动作单元的结果进行组合来生成加权激活；将加权激活应用到数字脸部模型；以及利用对加权激活的输入用户调节来重新校准多个动作单元中的至少一个动作单元。

在另一个方面中，一种使数字脸部模型动画化的方法包括：定义多个动作单元，每个动作单元包括第一脸部姿态数据和激活；利用从多个捕捉到的校准表演得出的校准姿态数据来校准第一脸部姿态数据，该多个捕捉到的校准表演中的每个校准表演对应于每个动作单元；从该多个捕捉到的校准表演中的另一个校准表演得出第二脸部姿态数据；确定多个权重，该多个权重中的每个权重唯一地对应于每个动作单元，该多个权重表征脸部姿态数据的加权组合，该加权组合近似第二脸部姿态数据；通过对将每个权重应用到激活的结果进行组合来生成加权激活；将加权激活应用到数字脸部模型；以及利用对加权激活的输入用户调节来重新校准第一脸部姿态数据和激活。

在另一个方面中，公开了一种用于将脸部运动捕捉数据重定位到数字脸部模型的系统。该系统包括：FACS模块，用于管理多个动作单元；重定位模块，用于利用脸部运动捕捉数据和多个动作单元来为数字脸部模型生成至少一个加权激活；动画模块，用于通过将至少一个加权激活应用到数字脸部模型来生成脸部动画帧；以及调谐接口(tuning interface)模块，用于根据对脸部动画的输入用户调节来为FACS模块生成经重新校准的动作单元。

在另一个方面中，一种数字脸部动画的方法包括：捕捉脸部运动数据；标注脸部运动数据；稳定脸部运动数据；利用FACS矩阵来清洁脸部运动数据；对脸部运动数据进行正规化；利用FACS矩阵来将脸部运动数据重定位到数字脸部模型上；以及执行对FACS矩阵的多维调谐。

本领域的普通技术人员在阅读以下详细描述和附图之后将更容易明白本发明的其他特征和优点。

附图说明