[发明专利]应用于移动设备端的人脸关键点跟踪系统及方法

摘要

本发明提供一种应用于移动设备端的人脸关键点跟踪系统及方法，该系统包括初始人脸框检测模块、人脸关键点回归模型学习模块、人脸关键点回归计算模块、工作模式判定模块和人脸关键点后处理模块。人脸关键点回归计算模块：包含检测模式与跟踪模式，检测模式根据初始人脸框作为输入回归计算人脸关键点模型；跟踪模式根据上一帧人脸关键点模型作为输入回归计算当前帧关键点模型；该系统及方法为具有检测模式和跟踪模式的人脸关键点定位技术，只需在第一帧进行人脸初始框检测，在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，这样，在跟踪过程不用再次调用人脸检测模块，节省计算时间，提高系统效率。

主权项

一种应用于移动设备端的人脸关键点跟踪系统，其特征在于，包括：初始人脸框检测模块：读入当前帧图像，获取当前帧图像中人脸的位置，获得初始人脸框；人脸关键点回归模型学习模块：收集各角度的人脸训练图像，通过标定技术对所收集的人脸图像进行68个关键点的标记，选择基于随机森林的LBF算法来进行回归模型的学习；人脸关键点回归计算模块：包含检测模式与跟踪模式，检测模式根据初始人脸框作为输入人脸关键点回归计算模型；跟踪模式根据上一帧人脸形状作为输入当前帧关键点回归计算模型；工作模式判定模块：在第一帧采用检测模式，进行人脸初始框检测；在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，通过统计方法计算当前帧关键点模型与上一帧人脸关键点模型的关系来判断当前帧关键点模型是否处于跟踪成功的状态；人脸关键点后处理模块：通过滤波算法对人脸关键点位置进行滤波，消除关键点的抖动；通过预先设置的参数对人脸x、y、z轴三个方向的旋转角进行估算，实现人脸姿态估算。