[发明专利]应用于移动设备端的人脸关键点跟踪系统及方法

权利要求书

1.一种应用于移动设备端的人脸关键点跟踪系统，其特征在于，包括：

初始人脸框检测模块：读入当前帧图像，获取当前帧图像中人脸的位置，获得初始人脸框；

人脸关键点回归模型学习模块：收集各角度的人脸训练图像，通过标定技术对所收集的人脸图像进行68个关键点的标记，选择基于随机森林的LBF算法来进行回归模型的学习；

人脸关键点回归计算模块：包含检测模式与跟踪模式，检测模式是由初始人脸框作为人脸关键点回归计算模型的输入；跟踪模式是由上一帧人脸形状作为当前帧人脸关键点回归计算模型的输入；

人脸关键点回归计算模块中跟踪模式具体为：

S321、将平均人脸形状，用S表示，与上一帧人脸形状进行归一化计算，再分别计算两个形状的均方差，按照均方差的比例求得两个形状的比例因子；

S322、利用仿射变换关系计算上述两个归一化后的人脸形状的旋转因子，按照比例因子与旋转因子将平均人脸形状变换到当前人脸的坐标系当中，用S′表示；

S323、将上述S′放入级联随机森林回归器中进行逐级回归计算，每一级回归的输出作为下一级回归的输入；

S324、在每一级的回归器中，针对每一个关键点提取LBF特征算子，并且按照该特征算子来推算出关键点应当回归的偏移量ΔS_i，其中i表示第i个特征点；

工作模式判定模块：在第一帧采用检测模式，进行人脸初始框检测；在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，通过统计方法计算当前帧关键点模型与上一帧人脸关键点模型的关系来判断当前帧关键点模型是否处于跟踪成功的状态；

工作模式判定模块具体为：

S41、记录上一帧的人脸形状坐标，计算与当前人脸形状每一个关键点的坐标的差值；

S42、计算所有关键点差值的均值及均方差；

S43、当差值均值和均方差小于预设阈值时，判定当前跟踪成功；当差值均值和均方差大于预设阈值时，则判断当前跟踪失败；

人脸关键点后处理模块：通过滤波算法对人脸关键点位置进行滤波，消除关键点的抖动；通过预先设置的参数对人脸x、y、z轴三个方向的旋转角进行估算，实现人脸姿态估算；

人脸关键点后处理模块：通过滤波算法对人脸关键点位置进行滤波，具体为：

S51、利用一个n倍于人脸形状大小的内存空间存储跟踪成功的最近n帧人脸形状坐标，1≤n≤100，设置起始标志位；

S52、利用存储的有效n帧人脸形状坐标信息和卡尔曼滤波器对当前得到的人脸形状坐标进行滤波处理；

S53、将滤波后的人脸形状坐标作为当前帧的真实坐标输出；

还包括人脸重叠率计算模块，人脸重叠率计算模块：只应用在多人脸跟踪的情况下，设置检测间隙，通过每隔一段检测间隙后进行一次检测，将检测中获取的初始人脸框与跟踪人脸形状进行重叠率计算，当重叠率大于预设阈值时，则判定当前初始人脸与跟踪人脸为同一人脸，不进行后续操作；若重叠率小于预设阈值时，判定当前初始人脸为新加入人脸，调用检测模式的人脸关键点回归计算模块。

2.如权利要求1所述的应用于移动设备端的人脸关键点跟踪系统，其特征在于：初始人脸框检测模块，具体为：

S11、利用人脸图像提取其中的模式特征，包括色彩特征、直方图特征或Haar特征；

S12、利用Adaboost算法组成级联分类器利用提取的模式特征来获取人脸位置的粗略估计；

S13、此时获取的人脸位置的粗略估计存在一定的漂移误差，利用人眼位置来进行矫正，采用opencv的人眼级联检测器来检测人眼，获取每一个人眼的中心位置；

S14、通过人眼的连线与水平位置的夹角来确定人脸框旋转的矫正角度，再通过人眼坐标和人脸框的坐标关系来确定人脸框缩放的尺度因子与平移向量；

S15、通过上述计算得到的矫正参数，包括旋转角度、缩放因子、平移向量，对粗略估计的人脸框进行矫正，得到初始人脸框。