[发明专利]一种基于人眼优先拟合的人脸特征点跟踪方法

说明书

技术领域

本发明涉及图像模式识别领域，尤其涉及一种基于人眼优先拟合的人脸特征点跟踪方法。

背景技术

人脸特征点跟踪在人机交互、视频监控等领域得到了广泛的应用，成为当前计算机视觉研究领域中研究热点。传统的人脸跟踪技术是对目标人脸所在每一帧的位置进行标记，而人脸特征点的跟踪不仅能确定目标人脸的位置，同时还能够准确的描述人脸各部件特征点的位置。目前人脸特征点的定位与跟踪主要采用的是主动外观模型(Active Appearance Model，AAM)并此基础上研究人员进行了大量的改进，在人脸与其他非刚体的识别中得到了广泛应用。

AAM模型是通过统计学习建立目标人脸的形状和纹理模型，由于AAM模型使用的是人脸的全局表观，对人脸具有较强的描述能力。使用传统的AAM模型进行人脸特征点跟踪时是通过对形状与纹理模型赋予初值，以迭代的方式求解模型的增加量对模型的参数进行更新，算法的计算量较大，无法实现实时的人脸特征点跟踪。目前主流的人脸特征点跟踪技术采用的是反向合成拟合(Inverse Compositional)算法实现人脸与AAM人脸模型的拟合，该算法是通过计算AAM模型的反向增量，使得在迭代寻优的计算过程中所需的梯度与Hessian保持不变，降低了算法计算代价，然而当AAM模型的初始位置与目标位置偏离较大，或者人脸姿态出现较大幅度转动时，将对算法的拟合效率与精确度产生较大的影响，最终导致人脸特征点跟踪失败。因此同时解决人脸特征点跟踪过程中鲁棒性与准确性方面的问题具有重要的研究意义。

发明内容

本发明的目的在于解决人脸模型的初始位置与目标人脸偏离较大、人脸出现大幅度偏转以及人脸特征点跟踪不精确的问题，提出一种基于人眼优先拟合的人脸特征点跟踪方法。

为解决上述技术问题，本发明采用以下技术方案：

一种基于人眼优先拟合的人脸特征点跟踪方法，其特征在于：包含了人脸姿态估计与更新、人眼的检测与跟踪以及基于反向合成算法的人眼优先拟合与人脸剩余部件的拟合步骤：

首先对归一化后的训练样本进行主成分分析，建立人眼与人脸剩余部件的AAM形状模型；

然后，应用支持向量机算法建立人脸偏转模型，估算出当前人脸的偏转角度并对人脸姿态偏转模型中的参数进行实时更新，有效解决人脸姿态大幅度偏转问题；与此同时，使用强跟踪卡尔曼滤波算法进行人眼跟踪，获取的当前准确的人眼位置坐标；

将人眼位置坐标与人脸姿态信息相结合对反向合成算法中的参数进行更新，使用人眼形状模型优先对人眼区域进行特征点拟合，当人眼特征点拟合完成后再对剩余人脸部件特征点进行拟合。

上述技术方案中，基于人眼优先拟合的人脸特征点跟踪方法的具体实现步骤如下：

步骤S1：对训练集中所有样本中的人眼与人脸剩余部件特征点的二维坐标进行中心、尺度和方向归一化，将所有归一化的形状向量进行主成分分析建立人眼与人脸剩余部件的AAM形状模型；

步骤S2：使用Opencv开源视觉库，按照所设定帧率读取摄像头中的视频流，作为算法的数据输入；

步骤S3：应用支持向量机算法对人脸姿态进行检测，计算出人脸偏转角度，使用人脸偏转角度对人脸偏转模型中的参数进行更新；与此同时，使用Adaboost算法与强跟踪Kalman滤波对人眼进行检测跟踪，获取人眼的准确位置坐标；

步骤S4：使用人眼位置坐标与人脸姿态信息对AAM模型的反向合成算法中参数进行优化，进行人眼特征点的优先拟合，若拟合成功，对人脸剩余部件特征点进行拟合，否则丢弃当前帧，程序跳转至步骤S2顺序执行；

步骤S5：应用反向合成算法对人脸剩余部件特征点进行拟合，若拟合成功则对下一帧图像进行人脸特征点跟踪，否则丢弃当前帧，程序跳转至步骤S2顺序执行。

上述技术方案中，步骤S1：人眼形状模型与人脸剩余部件的AAM形状模型的建立方法，包含了以下步骤：

步骤S11：建立人眼的形状模型：通过对人眼特征点的二维坐标进行中心、尺度和方向归一化，在对训练集中所有归一化的形状向量进行主成分分析；建立人眼AAM形状模型；

步骤S12：建立人脸剩余部件的形状模型：通过对人脸剩余部件的二维坐标进行中心、尺度和方向归一化，在对训练集中所有归一化的形状向量进行主成分分析；建立人脸剩余部件的AAM形状模型。

上述技术方案中，步骤S3具体包含以下步骤：