[发明专利]一种深度域人脸稠密特征提取方法、系统和存储介质

权利要求书

1.一种深度域人脸稠密特征提取方法，其特征在于：包括以下步骤：

步骤1：采集深度域人脸数据集，然后进行预处理，并对深度域人脸数据集进行语义信息标注；将标注后的深度域数据集分为训练集、验证集和测试集；

步骤2：基于目标检测网络结构，建立对人脸几何特征有掩膜约束的检测、分割网络模型；

步骤3：在训练据集上对网络模型进行训练，回归人脸特征的稠密标注，得到最优网络模型；

步骤4：使用训练完成的网络模型在测试集图像上进行测试。

2.根据权利要求1所述的一种深度域人脸稠密特征提取方法，其特征在于：步骤1中，进行语义信息标注具体是标注人脸68个特征点中的脸部轮廓full_face、左眼left_eye、右眼right_eye、鼻子nose、嘴巴内轮廓in_mouth和外轮廓out_mouth六个区域。

3.根据权利要求1所述的一种深度域人脸稠密特征提取方法，其特征在于：步骤2具体过程如下：

步骤2.1：将语义分割网络Mask RCNN中对anchor box的分割改为对bounding box的分割；

步骤2.2：添加对人脸语义信息有掩膜约束的网络头。

4.根据权利要求3所述的一种深度域人脸稠密特征提取方法，其特征在于：对boundingbox的分割的具体过程如下：

anchor free的检测网络中网络头包括hm_head、wh_head、reg_head、hps_head、hm_hp_head和hp_offset_head，在anchor free的检测网络中网络头中添加对人脸语义信息有掩膜约束的网络头mask_head，以及针对人脸68个特征点中的full_face、left_eye、right_eye、nose、in_mouth和out_mouth六个区域的掩膜约束L_mask。

5.根据权利要求1所述的一种深度域人脸稠密特征提取方法，其特征在于：步骤3中，网络模型的损失函数，包括人脸六个区域中心点坐标L_hm、人脸六个区域bounding box的宽高L_wh、中心点偏移L_off、68个特征点坐标L_hp、人脸六个区域L_{hm_hp}和68个特征点偏移的损失L_{hp_offset}；对人脸的六个区域的预测bounding box和真实target box计算交叉熵，得到掩膜约束L_mask。