[发明专利]一种基于深度学习的人脸五官点遮挡检测方法

摘要

本发明公开了一种基于深度学习的人脸五官关键点遮挡检测算法，属于图像处理领域，其整体步骤为：S1：构建数据集并将数据集划分为训练集和测试集两部分；S2：经过归一化和热力图计算处理提取图像特征；S3：对处理过后的数据集进行数据集扩充；S4：训练基于神经网络的遮挡检测模型预测人脸五官点联合遮挡概率；S5：利用阈值分割求取人脸图像的五官关键点处的遮挡状态。本发明提出一种基于人脸五官定位场景下的人脸五官点遮挡检测的方法，弥补了当前人脸五官定位的方法在五官点遮挡处的信息不足的问题。

主权项

1.一种基于深度学习的人脸五官点遮挡检测方法，其特征在于所述方法的整体步骤为：步骤一、数据预处理：读取训练集中人脸图像和人脸五官点位置，并对人脸图像进行白化处理，得到归一化后的人脸图像；步骤二、热力图计算：利用步骤一中读取到的人脸五官点位置信息计算出热力图并作为后续模型的输入特征；步骤三、数据集扩充：经过不同角度的旋转和水平反转操作对公开数据集进行数据集扩充。原有数据集中遮挡图像和非遮挡图像样本存在样本不均衡的情况，因而本方法额外添加了受高斯噪声影响的遮挡图像；步骤四、构建人脸五官点遮挡检测模型：选用分类模型作为五官点遮挡检测的基模型会导致模型严重的过拟合，因而这里选用回归模型。模型会以一张步骤二得到的热力图作为输入，输出人脸图像中每个五官点位置处成为遮挡点的概率，并将所有概率值保存在一个向量中；步骤五、阈值分割：对步骤四得到的遮挡概率向量的每一维进行阈值分割，将其转换为相同维度的[0,1]向量，转换公式如公式一所示，0表示的是这个五官关键点被预测为非遮挡点，1预测为这个五官点被预测为遮挡点；步骤六、方法评测：在上述步骤完成后，将测试集的人脸图像经过白化处理和热力图计算得到图像特征，再经过步骤四中的训练好的模型预测人脸五官点遮挡概率向量，最后通过步骤五中的阈值分割得到人脸五官点遮挡状态，并使用召回率作为评价算法性能的指标，召回率公式如公式二：