[发明专利]一种人脸追踪方法、系统、终端及存储介质

权利要求书

1.一种人脸追踪方法，其特征在于，包括：

对当前图像帧进行人脸检测，得到第一人脸检测框，并根据所述第一人脸检测框剪裁得到人脸区域；

将所述人脸区域输入训练好的第一检测模型，通过所述第一检测模型输出带有置信度的人脸关键点；

将所述人脸区域以及所述人脸关键点输入训练好的第二检测模型，通过所述第二检测模型输出所述人脸关键点的坐标；

将所述人脸关键点的坐标按照设定比例进行外扩，得到人脸关键点外扩框，并将所述人脸关键点外扩框作为第二人脸检测框，根据所述第二人脸检测框对下一帧视频图像进行人脸追踪。

2.根据权利要求1所述的人脸追踪方法，其特征在于，所述对当前图像帧进行人脸检测，得到第一人脸检测框包括：

判断所述当前图像帧是否是强制检测帧；其中，所述强制检测帧为每间隔预设帧数后需要进行人脸检测的图像帧；

如果是，则进行人脸检测，并对上一次人脸检测得到的人脸检测框进行更新，以得到第一人脸检测框；否则，无需进行人脸检测，并使用上一次人脸检测得到的人脸检测框作为第一人脸检测框。

3.根据权利要求1所述的人脸追踪方法，其特征在于，所述第一检测模型的训练数据包括两种生成方式生成的人脸区域，

第一种为：根据人脸图像的人脸检测框裁剪得到的人脸区域；

第二种为：对人脸图像进行关键点标注，得到关键点外接矩形，将所述关键点外接矩形按照设定比例进行外扩后裁剪得到的人脸区域。

4.根据权利要求3所述的人脸追踪方法，其特征在于，所述第一检测模型的训练过程为：

将所述两种生成方式生成的人脸区域输入第一检测模型，所述第一检测模型通过卷积层、BN层、relu层和池化层对输入图像进行深度学习，并输出使用低分辨率的设定个数的通道的热图，所述热图表示每个人脸关键点在对应位置的概率，每个热图中概率最大的点的位置作为对应人脸关键点的预测坐标，最大概率值作为预测置信度。

5.根据权利要求1所述的人脸追踪方法，其特征在于，所述将所述人脸区域以及所述人脸关键点输入训练好的第二检测模型前还包括：

判断所述人脸关键点的置信度是否大于设定阈值；

若大于设定阈值，则判定所述人脸关键点为可信关键点，将所述人脸区域以及所述人脸关键点输入训练好的第二检测模型。

6.根据权利要求1至5任一项所述的人脸追踪方法，其特征在于，所述将将所述人脸关键点外扩框作为第二人脸检测框，根据所述第二人脸检测框对下一帧视频图像进行人脸追踪还包括：

判断所述人脸关键点外扩框与所述第一人脸检测框的交并比是否大于设定阈值；

若大于预设阈值，认为人脸追踪成功，将所述人脸追踪成功的图像帧输入人脸质量评估模型进行人脸质量评分，并将质量分数高于设定阈值的图像帧与对应的人脸关键点一起放入人脸候选队列，用于下一帧视频图像的人脸追踪。

7.根据权利要求6所述的人脸追踪方法，其特征在于，所述人脸质量评估模型包括人脸姿态模块、模糊检测模块、光照检测模块以及一个3层的融合回归模型，所述人脸姿态模块、模糊检测模块和光照检测模块分别对输入的图像帧进行人脸姿态、模糊程度和光照程度检测，得到所述图像帧的人脸姿态、模糊程度和光照程度的预测值，所述融合回归模型将所述图像帧的人脸姿态、模糊程度和光照程度的预测值进行融合，得到所述图像帧的质量分数。