[发明专利]一种多形变多姿态人脸序列的特征点定位方法

权利要求书

1.一种多形变多姿态人脸序列的特征点定位方法，其特征在于，包括：

(1)对待处理视频进行人脸检测，得到待处理视频中每帧图像的人脸位置信息；

(2)对于待处理视频的第一帧图像，利用第一帧图像的人脸位置信息对人脸进行特征点定位，从定位到的特征点中选取关键特征点，利用关键特征点初始化大位移光流跟踪器；

(3)对于待处理视频中从第二帧图像开始的每一帧图像，利用大位移光流跟踪器进行大位移光流跟踪，得到初始化大位移光流跟踪器的关键特征点在当前帧图像中的对应位置；

(4)使用步骤(3)跟踪到的关键特征点在当前帧图像中的对应位置进行姿态估计，建立当前帧图像的初始形状；

(5)利用当前帧图像的初始形状对当前帧图像的每个特征点进行精确定位；

所述关键特征点为左右眼球、鼻尖、两个嘴角点和上下嘴唇的中心以及下巴的中心一共八个点；

所述步骤(4)包括：

使用步骤(3)跟踪到的关键特征点在当前帧图像中的对应位置估计人脸姿态和左右太阳穴的位置；

根据左右太阳穴和下巴的中心以及人脸姿态来拟合整个人脸轮廓，对左右脸分别拟合两个四分之一椭圆，椭圆的具体参数如下：

以下巴的中心到左右太阳穴连线的垂线的垂足为椭圆的中心，下巴的中心到椭圆的中心为长半轴，左右太阳穴到椭圆的中心分别为两个椭圆的短半轴，椭圆的角度取决于人脸姿态；

对于嘴唇的形状，以下嘴唇的中心到左右嘴角连线的垂线的垂足为椭圆的中心，左右嘴角到椭圆的中心分别为椭圆的长半轴，上下嘴唇的中心到椭圆的中心分别为椭圆的短半轴，椭圆的角度与人脸轮廓拟合时角度相同，由此建立四个四分之一椭圆即可确定嘴唇的形状，初始形状X_start建立完成；

所述人脸姿态的估计包括：

使用当前帧图像中的左右眼球和鼻尖三个点建立三角形ABC，A为左眼球，B为右眼球，C为鼻尖，过鼻尖到左右眼球连线的垂线为CP，P为垂足，l₁为点P到点A的距离，l₂为点P到点B的距离，当l₁和l₂相等，人脸姿态为正脸，当l₁＞l₂时，人脸姿态为脸部向左偏转，当l₁＜l₂时，人脸姿态为脸部向右偏转；

左右眼球连线相对于水平线的旋转角度为θ，当θ＝0时，人脸姿态为正脸，当θ＞0时，人脸姿态为脸部向右旋转，当θ＜0时，人脸姿态为脸部向左旋转；

当左右眼球的距离与鼻尖到左右眼球连线的垂线的距离之比小于正脸时该比值，人脸姿态为脸部下低，当左右眼球的距离与鼻尖到左右眼球连线的垂线的距离之比大于正脸时该比值，人脸姿态为脸部上仰。

2.如权利要求1所述的一种多形变多姿态人脸序列的特征点定位方法，其特征在于，所述步骤(1)中的人脸检测包括：

(1-1)对待处理视频中的每一帧图像按照人脸左右方向和上下方向的运动划分为多个视图；

(1-2)构建以特征为中心的级联和以窗口为中心的级联，对于待处理视频中的每一帧图像，首先计算多个视图的特征值图像，然后在每个视图的特征值图像上和每一帧图像上分别运行以特征为中心的级联和以窗口为中心的级联，得到待处理视频中每帧图像的人脸位置信息。

3.如权利要求1或2所述的一种多形变多姿态人脸序列的特征点定位方法，其特征在于，所述步骤(2)中的特征点定位的具体实现方式为：由已训练的面部特征点的全局形状模型和局部纹理模型对第一帧图像中的人脸进行特征点定位。

4.如权利要求3所述的一种多形变多姿态人脸序列的特征点定位方法，其特征在于，所述全局形状模型和局部纹理模型的训练包括：

获取N个训练样本图像中各样本图像的形状向量，其中，形状向量代表训练样本图像中的特征点的横纵坐标；

分别最小化N个形状向量到平均形状向量的距离和，以对各形状向量进行对齐；

对对齐后的各形状向量进行主成分分析找出形状变化的统计信息，并利用主成分分析建立全局形状模型；

对于每一个特征点，沿着垂直于该特征点前后两个特征点连线的方向上分别选择若干个像素构成目标向量，根据该目标向量采用像素值差分的方式建立各特征点的局部纹理模型。