[发明专利]一种虚拟人脸动画合成方法

说明书

技术领域

本发明属于计算机图形学技术领域，具体地涉及虚拟人脸动画合成方法。

背景技术

虚拟人脸动画合成技术主要通过拍摄人脸的2D/3D视频，通过跟踪人脸的位置姿态和表情并将这些信 息映射到计算机中虚拟的三维人脸模型上，使得该虚拟三维人脸模型也呈现相应的位置姿态和表情。由于 人脸表情与动作是人类情感传递的一个重要途径，因此上述技术在人机交互、影视广告、游戏制作、视频 会议等方面都有广泛的应用。

目前解决上述问题的技术主要分为两类：基于2D视频的技术；基于深度视频的技术。基于2D视频 的技术一般需要在普通的图像或者视频中检测人脸特征点的2D图像坐标，然后将这些特征点的2D图像 坐标与该人脸在无表情正面情况下的特征点的2D图像坐标进行比较后转化成驱动MPEG-4三维人脸模型 的FAP参数。由于通过2D图像中的特征点去估计人脸头部姿态的问题是一个不适定问题，因此只能用于 头部运动比较小，主要是人脸内部表情变化的情况，如播音员的脸部视频等。基于深度视频的技术能够稳 定的追踪人脸位置、姿态和面部器官的细微表情。但是该类技术需要特殊的深度摄像头如微软的Kinect 传感器，因此大大限制了这类方案的使用范围。

发明内容

本发明的技术解决的问题是：通过普通的摄像头拍摄人脸视频驱动计算机中的虚拟三维人脸，使得虚 拟三维人脸表现出与人脸视频相对应的位置姿态以及表情的算法合成技术。

为实现上述目的，本发明采用的技术方案为：(1)合成视频中人脸所对应的三维表情基。具体来说， 又分为如下两个分步骤：(1.1)通过拍摄的正面中性表情人脸图像合成三维人脸模型。这主要通过对人脸 图像运用人脸特征点检测结合三维可变形模型(3DMorphableModel)技术实现三维人脸模型合成。(1.2)对 三维人脸模型进行形变得到三维表情基。这主要通过对三维人脸模型的网格顶点参考MPEG-4FAP参数的 预先设置对三维人脸模型的网格顶点进行形变来实现。(2)在输入人脸视频中的某一帧检测2D人脸特征 点。为了能够应对不同姿态下的人脸情况，这一步骤采用集成回归树技术(EnsembleofRegressionTrees)来 实现。(3)结合视频中人脸所对应三维人脸模型以及2D人脸特征点估计视频帧中人脸的3D位置和姿态。 该步骤主要通过优化上述步骤得到的三维人脸模型所对应的顶点与图像中对应特征点的误差来得到3×3的 旋转矩阵R和3×1的平移矢量t。(4)根据步骤(1)得到的三维表情基和步骤(3)得到的人脸的3D位 置和姿态计算表情混合参数。这一步通过优化表情基线性组合后得到的三维人脸模型所对应的顶点与图像 中对应特征点的误差来得到混合参数。(5)结合事先构建好的虚拟三维人脸表情基及上述步骤估计得到的 人脸3D位置和姿态以及表情混合参数得到最终的人脸动画合成结果。这主要通过对三维表性基模型通过 上一步骤得到的混合参数进行线性组合得到。

与现有技术相比，本发明具有的优点和效果如下：(1)本发明无需特殊的外接设备，只需要普通的摄 像头即可。(2)本发明能够应对头部运动比较剧烈的情况，应用范围较为广泛。

附图说明

图1为虚拟人脸动画合成技术的概念展示，左下角是人脸作出的表情，右边是映射到虚拟三维人脸模型上 的结果。

图2为本发明技术方案流程图。

图3为正面人脸图像特征点检测的例子。

图4为虚拟三维人脸表情基的例子。

具体实施方式

图1为虚拟人脸动画合成技术的概念展示。本发明的一种虚拟人脸动画合成方法包含如下步骤：(1) 合成视频中人脸所对应的三维表情基；(2)在输入人脸视频中的某一帧检测2D人脸特征点；(3)结合视 频中人脸所对应三维人脸模型以及2D人脸特征点估计视频帧中人脸的3D位置和姿态；(4)根据步骤(1) 得到的三维表情基和步骤(3)得到的人脸的3D位置和姿态计算表情混合参数；(5)结合事先构建好的虚 拟三维人脸表情基及上述步骤估计得到的人脸3D位置和姿态以及表情混合参数得到最终的人脸动画合成 结果。流程图如图2所示。

优选的，步骤(1)具体包括：(1.1)通过拍摄的正面中性表情人脸图像合成三维人脸模型；(1.2)对 三维人脸模型进行形变得到三维表情基。