[发明专利]应用于移动设备端的人脸关键点跟踪系统及方法

说明书

本发明提供一种应用于移动设备端的人脸关键点跟踪系统及方法，该系统包括初始人脸框检测模块、人脸关键点回归模型学习模块、人脸关键点回归计算模块、工作模式判定模块和人脸关键点后处理模块。人脸关键点回归计算模块：包含检测模式与跟踪模式，检测模式根据初始人脸框作为输入回归计算人脸关键点模型；跟踪模式根据上一帧人脸关键点模型作为输入回归计算当前帧关键点模型；该系统及方法为具有检测模式和跟踪模式的人脸关键点定位技术，只需在第一帧进行人脸初始框检测，在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，这样，在跟踪过程不用再次调用人脸检测模块，节省计算时间，提高系统效率。

技术领域

本发明涉及一种应用于移动设备端的人脸关键点跟踪系统及方法。

背景技术

人脸跟踪是在视频或图像序列中确定某个人脸的运动轨迹及大小变化的过程，是进行动态人脸信息处理的第一个环节，在人机智能交互有着重要的应用价值。

在传统的人脸关键点定位系统中，对于视频中的每一帧图像都要经过人脸检测和人脸对准这两个步骤，才能获得连续的人脸关键点定位，其中人脸检测步骤即为获取到初始人脸框，人脸对准则为关键点的计算。这种方式下，效率较低，耗时长，易在交互过程中出现卡顿现象。

在多人脸模式的人脸跟踪中，存在着人脸的增减的情况，因此在跟踪的过程中如果需要同时进行人脸检测，在传统的方法中对每一帧图像都会进行人脸检测，存在着效率低，耗时长的问题。

上述问题是在人脸关键点跟踪过程中应当予以考虑并解决的问题。

发明内容

本发明的目的是提供一种应用于移动设备端的人脸关键点跟踪系统及方法，只需在第一帧进行人脸初始框检测，在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，节省计算时间，提高系统效率，解决现有技术中存在的上述问题。

本发明的技术解决方案是：

一种应用于移动设备端的人脸关键点跟踪系统，包括：

初始人脸框检测模块：读入当前帧图像，获取当前帧图像中人脸的位置，获得初始人脸框；

人脸关键点回归模型学习模块：收集各角度的人脸训练图像，通过标定技术对所收集的人脸图像进行68个关键点的标记，选择基于随机森林的LBF算法来进行回归模型的学习；

人脸关键点回归计算模块：包含检测模式与跟踪模式，检测模式根据初始人脸框作为输入人脸关键点回归计算模型；跟踪模式根据上一帧人脸形状作为输入当前帧关键点回归计算模型；

工作模式判定模块：在第一帧采用检测模式，进行人脸初始框检测；在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，通过统计方法计算当前帧关键点模型与上一帧人脸关键点模型的关系来判断当前帧关键点模型是否处于跟踪成功的状态；

人脸关键点后处理模块：通过滤波算法对人脸关键点位置进行滤波，消除关键点的抖动；通过预先设置的参数对人脸x、y、z轴三个方向的旋转角进行估算，实现人脸姿态估算。

进一步地，初始人脸框检测模块，具体为：

S11、利用人脸图像提取其中的模式特征，包括色彩特征、直方图特征或Haar特征；

S12、利用Adaboost算法组成级联分类器利用提取的模式特征来获取人脸位置的粗略估计；

S13、此时获取的人脸位置的粗略估计通常存在一定的漂移误差，利用人眼位置来进行矫正，采用opencv的人眼级联检测器来检测人眼，获取每一个人眼的中心位置；

S14、通过人眼的连线与水平位置的夹角来确定人脸框旋转的矫正角度，再通过人眼坐标和人脸框的坐标关系来确定人脸框缩放的尺度因子与平移向量；