[发明专利]基于深度学习多维度输出人脸质量评估方法与电子设备

说明书

本发明公开了一种基于深度学习多维度输出人脸质量评估方法：准备训练数据集，Score训练集、Class训练集、Mask训练集、Pose训练集；训练网络模型，从四个训练集中各随机选取一部分图片合并为一个批次图片，送入到神经网络模型中，通过神经网络前向推理后得到四个分支的输出值，根据输入的图片来自哪个数据集来计算相应的分支的损失值，最后按照不同的权重相加每个分支的损失值得到总损失值，用于网络反向传播，更新网络参数；对待测的人脸图像进行预测，输入一张人脸图像，经过预处理后送入经过训练得到的神经网络模型进行前向推理，输出四个分支的预测值，最后按权相加四个分支的输出值得到最终的人脸质量综合评估分数。本发明还提供了相应的电子设备。

技术领域

本发明属于图像识别技术领域，更具体地，涉及一种基于深度学习多维度输出人脸质量评估方法与电子设备。

背景技术

在边缘设备人脸抓拍过程中，由于受环境变化和人体运动的影响，抓拍到的人脸图像中存在模糊、遮挡、姿态变化等低质量的人脸图像，这些低质量的人图像会大大降低人脸识别系统的准确率。同时边缘设备的存储空间和传输带宽都是非常有限的，大量的低质量质量人脸图片，并不利于人脸图片的存储和传输。为了能够从大量的人脸图像中挑选出一张或多张高质量的人脸图像，就需要用到人脸质量评估方法。

影响人脸质量的因素有人脸图像的模糊程度、人脸遮挡程度、人脸姿态等，对人脸质量的评估，就是对这些影响因素进行评估。现有的人脸质量评估方法：一是利用深度CNN(Convolution Neural Networks，卷积神经网络)回归人脸质量分数，就是输入人脸图像，经过神经网络，输出一个人脸质量分数，该方法不能够准确反映影响人脸质量的各个因素，如清晰程度、遮挡程度、人脸姿态等，同时，一张人脸图像标注一个综合评价分数，标注难度大，容易引入主观误差。二是分别对人脸姿态、模糊、遮挡、人脸完整性等影响因素建模，计算各个因素的人脸质量分数后分配权重综合评估得到唯一分数作为人脸质量评估，多模型评估增加了耗时和计算资源，不利于边缘设备的实时部署。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度学习的多维度输出的人脸质量评估方法，用以解决多个模型同时运行增加耗时和计算资源的问题，增加人脸质量评估的准确性。

为实现上述目的，按照本发明的一个方面，提供了一种基于深度学习多维度输出人脸质量评估方法，包括：

步骤1：准备训练数据集，Score训练集、Class训练集、Mask训练集、Pose训练集；

步骤2：训练网络模型，从所述四个训练集中各随机选取一部分图片合并为一个批次图片，送入到神经网络模型中，通过神经网络前向推理后得到四个分支的输出值，根据输入的图片来自哪个数据集来计算相应的分支的损失值，最后按照不同的权重相加每个分支的损失值得到总损失值，用于网络反向传播，更新网络参数；

步骤3：对待测的人脸图像进行预测，输入一张人脸图像，经过预处理后送入经过训练得到的神经网络模型进行前向推理，输出四个分支的预测值，最后按权相加四个分支的输出值得到最终的人脸质量综合评估分数。

本发明的一个实施例中，所述步骤2中的四个分支包括：

Score输出分支：图像清晰程度估计分支，该分支回归预测一个关于人脸图像清晰程度的评分估计值，在(0,1)区间，图像清晰程度越高，该值越大，反之图像越模糊，该值越小；

Class输出分支：人脸图像“bad”、“good”二分类分支；“bad”类包括非常极端的人脸、不完整的人脸以及部分非人脸图片；“good”类包括正常人脸的图片；该分支用于对输入的人脸图像进行预测分类，得到一个属于“good”类的概率值，在(0,1)区间；