[发明专利]基于人脸跟踪和分析的表情互动方法

说明书

技术领域

本发明涉及图形图像处理与计算机视觉领域，特别是基于人脸的跟踪和表情互动方法。

背景技术

表情互动指通过实时捕捉人脸的表情动作来驱动虚拟人物做出相似表情的技术，其在人机互动虚拟游戏、虚拟人播报、3D影视制作等场合有着广泛的应用；如3D电影《阿凡达》就使用了表情互动技术来制作纳威人的表情动画。本发明提出的基于人脸表情跟踪和分析的表情互动是指利用摄像头实时采集图像，利用人脸跟踪算法对视频中的人脸进行跟踪，并分析出每一帧中人脸的表情参数；然后利用提取出的表情参数来驱动一个三维人脸模型，让其生成与表演者相同的表情。这种表情互动方法主要涉及两方面的技术：一是计算机视觉领域中的人脸跟踪和表情分析技术，二是计算机图形学中三维人脸模型的表情驱动技术。人脸跟踪技术是表情互动的核心，跟踪的准确度将极大的影响后续三维模型表情的合成。目前比较流行的人脸跟踪技术是基于主动外观模型(AAM)的人脸定位方法。由于反转合成算法的提出，使得AAM在人脸定位的搜索过程中能够迅速的收敛，获得一个局部最优解。AAM求解出的是一个局部最优值，因此AAM初值的设定对定位结果有非常大的影响。同时AAM能量函数形式的设定对参数的求解也会有极大的影响，好的能量函数式能够引导迭代过程走向真实参数值；否则会在迭代过程中陷入一个局部极小值而停止搜索，得出一个偏离真实值的结果。

人脸跟踪结果是为表情分析服务的，只有分析出当前帧的人脸表情和强度后才能指导后续三维模型的表情合成。目前在人脸表情识别领域，提出了众多的方法，如利用人脸上特征点的运动在不同表情下的表现形式存在差异的特征实现表情的识别和分类；结合形状和面部纹理特征实现表情的识别等等。这些方法适合于单张图像的识别，不太适合连续动态的表情识别和表情强度分析。在表情互动中，需要提取每一帧人脸的表情类型和对应的强度信息。Chai等人提出利用特征点之间的距离变化来提取表情的强度和类型，由此驱动三维模型做相应的表情。但这一方法不能通用，每换一个表演者参数都需要进行调整。在三维模型的表情合成方法中，主要有基于特征点控制的网格变形方法和线形插值方法。其中特征点的网格变形算法复杂度和计算量不符合表情互动的需求；线形插值技术具备运算量小、合成效果逼真的优点。在本发明中，采用线形插值来实现三维表情的合成。

发明内容

本发明提供了一种基于人脸跟踪分析的表情互动方法，通过摄像头采集人脸的表情图像；利用提出的人脸跟踪和表情分析技术实时对捕获的人脸图像进行分析处理，实现人脸的跟踪和表情参数的提取；然后利用提取出的表情参数驱动目标三维人脸模型做出相同的表情动画。本发明的示意图如图1所示。

为了实现上述目的，本发明提出如下的技术方案：

(1)设计某一人物的三维模型，并制作该人物的若干典型表情模型(本步离线完成)；

(2)三个不同侧脸角度下的主动外观模型(本步离线完成)；

(3)如果上一帧存在人脸，则利用上一帧参数作为主动外观模型的初始值；如果跟踪丢失或人脸第一次进入画面，则利用Adaboost算法检测人脸，利用获取的人脸大小和位置信息来初始化主动外观模型；

(4)最小化能量函数，获取当前帧最优的主动外观模型参数和表情参数，检测眼睛的状态；

(5)利用获得的表情参数和眼睛状态驱动制作的三维模型，让其生成与表演者相同的表情；

(6)更新摄像头数据，开始下一帧的表情分析和表情驱动处理。

本发明的优点是：

1.通用性强；用户可以更换所需的三维人物模型，同一表演者可以驱动不同的人脸模型。

2.人脸跟踪鲁棒，处理速度快；可以实时准确的捕获人脸的几种典型表情，对于Pentium4 2G的计算机，可以实现25f/s的处理速度。

3.无需人工交互，适用于普通大众人群。

附图说明

图1为本发明的表情互动示意图，图中1.为摄像头捕获画面，2.为三维人物模型的对应表情。

图2为本发明的模型制作示意图(未显示全部模型)，从上到下、从左到右依次对应表一中的表情编号为：1，7，8，2，5，6，3，4

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。本发明通过如下实施例进行说明：

制作三维模型、训练主动外观模型、人脸跟踪初始化、人脸跟踪中能量函数式设定和表情分析、眼睛睁闭状态检测、三维模型驱动，具体实施过程如下：