[发明专利]一种人脸表情克隆方法

说明书

技术领域

本发明的技术方案涉及三维(3D)图像的加工，具体地说是一种人脸表情克隆方法。

背景技术

人脸表情克隆技术是将人脸的表情克隆到与源模型具有不同拓扑结构的目标模型上，目标模型可以是不同性别不同种族的人，也可以是与人脸拓扑结构有很大差异的动物。基于数据驱动的人脸表情克隆技术充分利用已有的顶点运动数据可以快速合成真实和自然的克隆表情。近年来，该技术广泛的应用于计算机动画、计算机游戏和计算机视觉领域。

从人的视觉要求出发，总是希望克隆的人脸表情能够尽可能地达到逼真，但由于受模型和计算机能力的限制，合成的图像总是与人们的要求有一定的差距。在克隆表情工作后期经常需要对眼睛和牙齿这些脸部凹陷的区域作后期处理，而且变形过程中往往需要融合多种方法，制作要求较高。现有技术中的一些研究人员曾利用已有顶点的动画数据，提出了一种基于径向基函数(RBF)的表情克隆方法(参见Junyong Noh and Ulrich Neumann.Expression cloning.In Proceedings of ACM SIGGRAPH,pages277–288,New York,USA,2001)。这种方法仅仅转移了运动矢量，而对于稀疏的源数据，将会丢失源模型的部分表情细节。还有一些研究人员通过预先记录的人脸运动捕捉数据库，提出一种基于人脸面部特征点的人脸表情动画方法来合成真实的表情动画，然而动画的质量严重依赖于庞大的数据库(参见Zhigang Deng and Ulrich.Expressive speech animation synthesis with phoneme-level control.Computer Graph Forum,27:2096–2113，2008)。另有一些研究人员通过增加边界约束条件，将重定义问题用泊松方程来表示，利用贝叶斯公式产生与源运动一致的目标动画,这种方法仅集中于大规模的脸部变形，没有考虑现实的皱纹这些小尺度细节(参见Yeongho Seol,J.P.Lewis,Jaewoo Seo,Byungkuk Choi,Ken Aniyo and Junyong Noh.Spacetime expression cloning for blendshapes.ACM Transactions on Graphics,31:1-12，2012)。最近，Bhat和Goldenthal等人又提出了一种基于人脸重要轮廓特征的表演捕捉方法，该方法主要是对眼睛和嘴部这些人脸表情的关键区域进行表情匹配处理来得到高质量的克隆表情，这种方法对运动捕捉设备有较高的要求(参见Kiran S.Bhat,Rony Goldenthal,Yuting Ye,Ronald Mallet and Michael Koperwas.High fidelity facial animation capture and retargeting with contours.In Proceedings of the ACM SIGGRAPH,pages7-14,New York,USA,2013)。CN101944238A公开了一种基于拉普拉斯变换的数据驱动人脸表情合成方法，首先将采集表演者的脸部运动数据分解为脸部表情运动和头部刚体运动，计算载入的中性目标人脸模型中各顶点的拉普拉斯坐标，然后将脸部表情运动迁移到中性目标人脸模型上，使得中性目标人脸模型具有与表演者一致的表情，最后将头部刚体运动迁移到具有与表演者一致表情的目标人脸模型上，使得最终的目标人脸模型具有与表演者一致的面部表情和姿态。此方法的缺点是：对于顶点数目较多的模型，该方法的处理速度较慢，同时没有考虑复杂的眼睛和牙齿运动。

发明内容

本发明所要解决的技术问题是：提供一种人脸表情克隆方法，是一种基于运动捕捉数据的人脸表情克隆方法，首先使用摄像机捕捉人脸六种基本表情数据，并对数据进行处理，然后分别构建与源面部和目标面部模型对应的关键模型，并在表现人脸表情的关键区域选取四十一个人脸面部特征点，通过采用凸权值的拉普拉斯变形算法将人脸表情转移到目标模型上，很好保留了人脸表情的细节，克服了现有技术中均一权值保真度低和余切权值计算不稳定的问题以及运动捕捉设备有较高的要求和处理速度较慢的缺陷。

本发明解决该技术问题所采用的技术方案是：一种人脸表情克隆方法，是一种基于运动捕捉数据的人脸表情克隆方法，步骤如下：

第一步，预先捕捉一系列人脸面部运动序列：

先利用运动捕捉设备捕捉表演者的面部肌肉活动，收集人脸面部特征点的原始数据，即特征点的位置关系；