[发明专利]一种人脸模型装配与表情驱动方法

说明书

本发明公开了一种人脸模型装配与表情驱动的方法，重建出建模对象的三维人脸模型，在三维人脸模型中获得具有含义的面部控制点；计算出FACS编码系统中各动作单元AU对应于双线性人脸模型中的表情基参数，从而得到各动作单元AU驱动表情时所对应的人脸三维模型顶点及其运动范围；利用生物解剖学方面与运动学的相关知识，将人脸面部的肌肉与骨骼装配到三维人脸模型上，通过FACS中各AU驱动表情时顶点的运动情况，计算出装配模型中的参数；通过对装配后的人脸模型驱动控制点，完成三维人脸模型的表情驱动，或者通过AU动作的叠加，实现三维人脸模型表达情绪的表情驱动。

技术领域

本发明属于计算机技术领域，尤其涉及一种人脸模型装配与表情驱动方法。

背景技术

在传统的计算机动画产业中，为了生成具有高保真的人物形象，已经形成了相对完善的技术框架和产业链，具体的流程为：人脸重建、模型绑定、动作捕捉。其中人脸重建的步骤是指通过重建设备，采集演员不同表情下的三维模型；模型绑定的步骤是指处理原始采集的三维模型，通过设定控制点和形变权重，使得人脸模型能够做出驱动参数控制的表情；动作捕捉的步骤是跟踪演员的表情动作，得到驱动参数，使得绑定之后的三维模型做出相同的表情。

手工驱动是最传统的方法，制作的模型亦繁亦简，但需要专业的美工对每个新模型进行大量的手工操作和细微调整，机械、繁杂且无标准的绑定和封套工作在模型因故替换后就是重新从头再做。由于以上原因使得在不同模型间快速重用匹配模型变得十分困难，无法满足一般用户快速制定自己所需的人脸三位虚拟角色的需求，除了电影特效等特殊环境以外已很少使用。

自动建模及驱动是在人工不参与情况下，使用设备和方法自动建立头部模型并跟随表情动作的方法，目前受到世界的广泛关注，虽然有比较出色的实时跟踪表情的演示结果出现，但是能完成从自动建模到实时表情的成果很少或者稳定性不高。

面部表情编码(Facial action coding system,FACS)是一种基于解剖学结构的系统，其覆盖了头部姿态，注视方向和面部肌肉动作。人类面部有42块肌肉，其中的一部分肌肉可以通过意识直接控制，由于任何一个面部表情都是由一组面部肌肉运动而产生，利用FACS编码的运动单元(Action Unit,AU)组合基本能覆盖所有常见的面部表情。

三维可变形人脸模型3DMM是一种通用的三维人脸模型，是建立在三维人脸数据库基础上，以人脸模型的统计作为约束。3DMM模型通过相同数量的点和拓扑结构表示人脸。3DMM模型可表示为：

S_model＝(x₁,y₁,z₁,x₂,y₂,z₂,…,x_n,y_n,z_n)^T，通过一个长度为3n的向量表示人脸模型的形状，(x_k,y_k,z_k)^T表示模型中第k个点的空间三维坐标；其中表示平均的三维人脸形状，称为人脸模板。s_i表示三维模型的形状基，可以通过设置s_p的系数α_p可以表示出不同的人脸模型。

公式(2)中S_expression为对3DMM人脸模型进行表情驱动的数学表示，β_q表示表情系数，e_q表示表情基，可以通过调整表情系数进行3DMM模型的表情驱动。

针对相关技术中不能高效稳定地从模型装配到表情驱动地问题，本领域还未提出有效地解决方案。

发明内容