[发明专利]基于视频的三维人脸动画驱动方法和系统

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于视频的三维人脸动画驱动方法和系统。

背景技术

三维人脸动画技术起步于70年代，其后的研究者做了很多工作以期能够生成逼真生动的三维人脸动画。当前更进一步的研究方向是，人们希望能够实时的模拟真实人脸的各种表情和动作，但是由于人脸生理结构本身的复杂性，以及人们对人脸外观的敏感性，使得达到这一目标非常困难。

一种简单的实现方式是，可以通过检测视频数据中人脸器官特征点的变化来驱动三维人脸模型中的脸部器官，从而达到实时模拟的动画效果。例如，已经上市的罗技的产品可以通过摄像头采集的视频数据来驱动相应的三维脸部器官，进而实现三维人脸动画。

在具体实现中，首先对视频图像中某一人脸上的嘴巴器官的特征点进行实时检测和跟踪，如果检测到其发生了运动变化，则进一步依据预置条件，判定视频中嘴巴器官的运动是张开运动还是闭合运动，进而驱动相应三维模型中的嘴巴器官同时作张开运动或闭合运动。同理，也可以实现通过追踪视频图像中某一人脸上的眉毛、眼睛等器官的特征点变化，实现对三维模型中相应器官的驱动。进而，通过对各个器官的实时跟踪驱动，获得所需的实时模拟动画效果。

但是，由于上述现有技术的核心构思是通过追踪每个器官特征点的变化来对三维人脸模型的脸部器官进行驱动，进而达到动画效果的；而在实际应用中由于处理速度和计算难度的限制，使得通过上述现有技术所能达到的实际的动画效果比较简单，不够逼真，例如对于嘴巴的驱动，只能实现简单的嘴巴张开和闭合，对眉毛的驱动则只能简单的实现眉毛的上下运动。

基于上述对具体处理过程的描述，易于看出，现有的解决方案只能简单的完成单个器官的相应驱动，非常机械，难以实现更加逼真、更加真实的三维人脸动画。

发明内容

本发明所要解决的技术问题是提供一种基于视频的三维人脸动画驱动方法和系统，能够实现更加逼真、更加真实的三维人脸动画。

为了解决上述问题，本发明公开了一种基于视频的三维人脸动画驱动方法，包括以下步骤：识别视频图像中的人脸表情；根据表情识别结果和该表情相应的预置驱动规则对通用三维人脸模型上需要变形的器官进行变形，得到三维人脸动画。

优选的，所述方法还可以包括：依据当前人脸表情的具体程度对通用三维人脸模型上相应的局部人脸器官进行微调。

进一步的，识别当前表情的具体程度可以通过如下步骤实现：检测跟踪视频图像中所需人脸器官的特征点运动数据；依据所述检测跟踪数据，识别当前表情的具体程度。

优选的，所述方法还可以包括：依据器官变形程度对通用三维人脸模型上相应的器官进行局部微调。

进一步的，确定器官的变形程度可以通过以下步骤实现：检测跟踪视频图像中所需人脸器官的特征点运动数据，定位得到视频图像中器官的位置和大小；将得到的器官的位置和大小与标准模型中相应器官的位置和大小进行比较，获得该器官的变形程度。

优选的，所述方法中对通用三维人脸模型上的变形操作可以通过驱动预置控制点来实现。

进一步的，当变形操作针对的器官是嘴巴时，所述预置控制点分布于上嘴唇、下嘴唇、和嘴角。

进一步的，当变形操作针对的器官是眼睛时，所述预置控制点分布于上、下眼睑和眼角。

进一步的，当变形操作针对的器官是眉毛时，所述预置控制点分布于左眉毛和右眉毛。

优选的，所述方法中，当表情识别结果是″笑″时，预置的驱动规则为：下眼睑上的控制点整体向上运动；上嘴唇上的控制点平行上升，并向两边拉升；下嘴唇上的控制点依序连接形成抛物线的形状。

优选的，所述方法中，当表情识别结果是″惊讶″时，预置的驱动规则为：上、下嘴唇的控制点相对于嘴巴中心点分别向上、下运动；嘴角的控制点向嘴巴中心点运动；上、下嘴唇上的控制点同嘴角控制点依序连接形成两个抛物线形状；眉毛控制点向上运动。

优选的，所述方法中，当表情识别结果是″愤怒″时，预置的驱动规则为：上嘴唇的控制点整体向上平移；下嘴唇的控制点向下运动；下嘴唇的控制点同嘴角控制点依序连接形成抛物线形状；眉毛控制点向上运动。

根据本发明的实施例，还公开了一种基于视频的三维人脸动画驱动的系统，包括：表情识别装置，用于识别视频图像中的人脸表情；存储装置，用于存储预置的多个驱动规则；驱动装置，用于根据表情识别结果和该表情相应的预置驱动规则对通用三维人脸模型上需要变形的器官进行变形，得到三维人脸动画。