[发明专利]一种视频驱动的人脸动画生成方法

说明书

技术领域

本发明涉及人脸表情捕捉和重用技术领域，具体地说，本发明涉及一种视频驱动的人脸动画生成方法。

背景技术

视频驱动人脸动画的技术主要是研究如何从单目摄像头拍摄记录的带有人脸表情的视频中提取并重用人脸表情信息，从而实时生成相应的人脸动画。所生成的人脸动画既可以即时动态地将合成的表情反馈给用户，也可以将原始视频中的表情信息转化为不同角色的表情动画，因而这种技术可以广泛应用于动画制作、游戏开发以及网络社交等领域。

现有技术中，视频驱动人脸动画通常基于表情基方法(blendshape method)实现。它需要建立一个参考模型，参考模型由多个表情基组成，每个表情基都是一种典型的表情模型，例如大笑、撅嘴、瞪眼模型等等。理论上任意一个人脸表情都能够由参考模型中若干个表情基的加权叠加而成，相应的加权系数通常称为表情参数。这样，视频驱动人脸动画的方法实际上就是从视频中捕获人脸数据，然后寻找一组表情参数，使得相应的表情基加权叠加而成的表情模型与所捕获的人脸数据尽可能接近。在获得这样的表情参数后，即可基于表情参数和参考模型将视频中的表情重用到动画角色中。这样，就能获得具有更加逼真，更加丰富表情的人脸动画。

为实现视频驱动人脸动画，首先需要一个合适的表情定义，以表达视频中的人脸表情。近年来，已有出现了很多关于实时视频驱动人脸动画的表情定义，主要方法类型有以下几类：

1)直接从二维特征点估算人脸表情的方法，它是将从人脸图像中追踪到的稀疏二维特征点直接作为表情定义，通常误差较大。

2)通过像素颜色信息与追踪到的二维特征点互相优化以估算人脸表情的方法。此方法将像素色彩信息和稀疏二维特征点作为表情定义，以降低仅使用二维特征点估算结果的误差。但是直接使用像素色彩信息，对图像的质量要求较高，而网络摄像头拍摄的图像、室外环境下拍摄的图像通常不能满足要求。

3)采用三维表情数据库估算人脸表情的方法。它寻求三维点云的恢复，然后用三维点云作为表情定义。这种方法中，为了获得稳定的表情，要么大大降低了恢复表情的准确度，要么需要大量的手工标记操作以及用户提前训练。并且此种方法需要庞大的数据库，往往导致计算量较大，效率较低。

4)采用三维模型库估计表演者的三维模型，进而估算人脸表情的方法。这个方法首先建立三维点云数据库，然后用自定义的控制参数来建立特征点与数据库之间的关系，最后从数据库中估算相关的三维点云作为表情定义。这种方法最终的重用结果依赖于所建立的数据库的内容和质量。但建立包含所有用户表情的高质量数据库是比较困难的。

另一方面，在有了一定的表情定义后，还需要基于表情基对视频中的表情重定向，才能生成相应的人脸动画。基于表情基的表情重定向方法，是通过优化权值(又称表情参数)使得目标模型表情基加权组合之后的表情与源表情之间误差最小。在已知表情基的情况下，寻找合适的表情参数实际上就是求解最小值问题。求解最小值问题往往较为费时，如何在保证人脸动画的稳定性和真实感的前提下减少计算量，是当前需要解决的一大技术问题。

发明内容

因此，本发明的任务是提供一种稳定性和真实感较好且计算量小的视频驱动的人脸动画生成方法。

本发明提供了一种视频驱动的人脸动画生成方法，包括下列步骤：

1)捕获视频中人脸图像的二维特征点，并从所述二维特征点中提取出所述视频的语义特征向量，所述语义特征向量由多个语义特征变量组成，所述语义特征变量包括：描述脸部器官周围局部运动的特征变量，以及描述全脸各器官之间相对运动的特征变量；

2)基于由多个表情基构成的参考模型，将所述视频的语义特征向量表示为表情基的语义特征向量的加权和，并将与各表情基的语义特征向量的加权系数作为表情参数；

3)基于步骤2)所获得的表情参数和相应的参考模型的表情基，生成与所述视频表情一致的人脸动画。

其中，所述步骤1)、2)中，所述描述脸部器官周围局部运动的特征变量包括：描述眉毛周围局部运动的特征变量，描述眼睛周围局部运动的特征变量，以及描述嘴巴周围局部运动的特征变量。

其中，所述步骤1)、2)中，所述描述眉毛周围局部运动的特征变量包括两眉毛之间的水平距离，左眉内眉梢、外眉梢、眉毛中心与左眼的垂直距离，以及右眉内眉梢、外眉梢、眉毛中心与右眼的垂直距离；

所述描述眼睛周围局部运动的特征变量包括左眼上眼皮与下眼皮之间的最大垂直距离，以及右眼上眼皮与下眼皮之间的最大垂直距离；