[发明专利]基于人脸跟踪和分析的表情互动方法

权利要求书

1.一种基于人脸跟踪和分析的表情互动方法，其特征在于，包括如下步骤：

步骤1：设计某一人物的三维模型，并制作该人物的若干典型表情模型(本步离线完成)；

步骤2：训练三个不同侧脸角度下的主动外观模型(本步离线完成)；

步骤3：如果上一帧存在人脸，则利用上一帧参数作为主动外观模型的初始值；如果跟踪丢失或人脸第一次进入画面，则利用Adaboost算法检测人脸，利用获取的人脸大小和位置信息来初始化主动外观模型；

步骤4：最小化能量函数，获取当前帧最优的主动外观模型参数和表情参数，检测眼睛的状态；

步骤5：利用获得的表情参数和眼睛状态驱动制作的三维模型，让其生成与表演者相同的表情；

步骤6：更新摄像头数据，开始下一帧的表情分析和表情驱动处理。

2.根据权利要求1所述的基于人脸跟踪和分析的表情互动方法，其特征在于，步骤2中的主动外观模型的训练按如下过程进行：

步骤21：分别采三种不同侧脸角度下的人脸表情图像，并标注每幅图像的人脸形状；

步骤22：对每一种侧脸角度下的样本集，归一化样本的人脸形状和人脸纹理图像，其中纹理图像由灰度图像、x方向梯度图和y方向梯度图三个通道组成；

步骤23：通过PCA训练出三种角度下的主动外观模型。

3.根据权利要求1所述的基于人脸跟踪和分析的表情互动方法，其特征在于，步骤4中的能量函数和表情参数获取按如下过程进行：

步骤31：设定主动外观模型的能量函数表达式，包括人脸纹理与平均纹理的差值最小化约束、基于特征点局部纹理的相邻帧一致性约束、基于肤色模型的人脸区域约束(本步离线完成)；

步骤32：制作改进型的CANDIDE三维人脸形状网格以及几种典型表情下对应的形状网格(本步离线完成)；

步骤33：利用反转合成算法最小化主动外观模型的能量函数，获得单前帧的人脸形状；

步骤34：利用获得的人脸形状和改进型的CANDIDE三维人脸网格，提取单前帧的表情参数和头部姿态。

4.根据权利要求1所述的基于人脸跟踪和分析的表情互动方法，其特征在于，步骤4中的眼睛状态检测按如下过程进行：

步骤41：训练一个眼睛区域的局部主动外观模型(本步离线完成)；

步骤42：利用LBP直方图特征和SVM训练一个眼睛睁眼和闭眼的状态分类器(本步离线完成)；

步骤43：在全局主动外观模型定位的基础上，利用局部主动外观模型精确定位眼睛的形状；

步骤44：计算眼睛区域图像的LBP，并根据SVM分类器判断眼睛的睁闭状态。

5.根据权利要求1所述的基于人脸跟踪和分析的表情互动方法，其特征在于，步骤5中的表情驱动按如下过程进行：

步骤51：载入三维人物模型及其相应的典型表情模型(本步在程序初始化时完成)；

步骤52：利用表情参数计算出每种典型表情下模型各顶点的位移量，然后与中性无表情模型相叠加，获得该人物与表演者相一致的表情模型；

步骤53：对表情模型实施三个角度的旋转操作，使其与表演者的头部姿态一致；