[发明专利]一种人脸检测和关键点检测的模型串联训练方法、装置及终端设备

权利要求书

1.一种人脸检测和关键点检测的模型串联训练方法，其特征在于，所述方法包括：

步骤1，获取数据集；

收集各种人脸数据集，统一其人脸检测框标注格式，根据实际需求，选取人脸检测模型，人脸关键点检测模型；并对数据集中的人脸做人脸关键点检测标注；

步骤2，训练；

(1)模型单独训练阶段

对人脸检测模型进行单独训练，训练至其训练损失函数收敛或者接近收敛状态；

(2)人脸检测模型和人脸关键点检测模型串联训练阶段

在串联训练阶段，一个批次的人脸检测训练样本pics的图片经过人脸检测模型，产生该批次的人脸检测框预测结果；若人脸检测框预测结果中包含人脸的40～70％以上的人脸关键点，则将截取人脸检测框所对应的原图片中的区域作为人脸关键点检测的训练样本，即可得该批次的人脸关键点检测训练样本faces；

在人脸检测模型和人脸关键点检测模型串联训练过程中，人脸检测模型给人脸关键点检测模型提供了困难样本输入，在检测过程中，使得后级的人脸关键点检测模型对于前级的人脸检测模型的输出有很好的预测效果。

2.根据权利要求1所述的一种人脸检测和关键点检测的模型串联训练方法，其特征在于，步骤1的人脸检测模型为一阶段的人脸检测模型。

3.根据权利要求1所述的一种人脸检测和关键点检测的模型串联训练方法，其特征在于，步骤1人脸关键点模型为五个人脸关键点的人脸关键点模型，五个人脸关键点分别为左眼，右眼，鼻子，嘴巴左角，嘴巴右角。

4.根据权利要求2所述的一种人脸检测和关键点检测的模型串联训练方法，其特征在于，步骤1人脸关键点模型为五个人脸关键点的人脸关键点模型，五个人脸关键点分别为左眼，右眼，鼻子，嘴巴左角，嘴巴右角。

5.根据权利要求1-4任一项所述的一种人脸检测和关键点检测的模型串联训练方法，其特征在于，步骤2中模型单独训练阶段还包括：对人脸关键点检测模型进行预训练，对人脸关键点检测模型进行单独训练，训练至其训练损失函数收敛或者接近收敛。

6.根据权利要求5所述的一种人脸检测和关键点检测的模型串联训练方法，其特征在于，步骤2的(2)中若人脸检测框预测结果中包含人脸的50％以上的人脸关键点，则将截取人脸检测框所对应的原图片中的区域作为人脸关键点检测的训练样本，即可得该批次的人脸关键点检测训练样本faces。

7.根据权利要求1-4任一项所述的一种人脸检测和关键点检测的模型串联训练方法，其特征在于，人脸关键点检测样本pic_i_j，经由人脸关键点检测模型的产生的损失loss_{pic_i_j}，按照人脸检测图片分配到对应的图片pic_i；对于人脸检测模型来说，pic_i产生的损失如下：

α为参数，用于调节人脸关键点产生的损失对于人脸检测的影响程度，loss_{pic_i_origin}为人脸检测模型的原始损失；pic_i表示人脸检测的第i个图片样本，pic_i_j表示从pic_i中得到的第j个人脸关键点检测样本，即从pic_i中第j个人脸检测框所截取的原图片中的区域。

8.根据权利要求5所述的一种人脸检测和关键点检测的模型串联训练方法，其特征在于，人脸关键点检测样本pic_i_j，经由人脸关键点检测模型的产生的损失loss_{pic_i_j}，按照人脸检测图片分配到对应的图片pic_i；对于人脸检测模型来说，pic_i产生的损失如下：

α为参数，用于调节人脸关键点产生的损失对于人脸检测的影响程度，loss_{pic_i_origin}为人脸检测模型的原始损失；pic_i表示人脸检测的第i个图片样本，pic_i_j表示从pic_i中得到的第j个人脸关键点检测样本，即从pic_i中第j个人脸检测框所截取的原图片中的区域。