[发明专利]一种口罩人脸识别方法及系统

权利要求书

1.一种口罩人脸识别方法，其特征在于，包括以下步骤：

步骤1：以开源的ArcFace人脸识别模型为基线模型，构建口罩人脸识别深度学习模型；

具体包括以下子步骤：

步骤1.1：眉眼提取；

采用开源的Face-Alignment算法提取眉眼特征点，将眉眼特征点顺序串联连接，形成眉、眼的两个封闭空间，分别记为B、E；

步骤1.2：眉眼注意力加权；

设f为ArcFace模型全连接层之前的特征图，f'为经过眉眼注意力加权后的特征图，注意力加权公式为：

其中，α为眉部强度参数，β为眼部强度参数，(x,y)为特征点坐标；

步骤1.3：定义Softmax分类损失函数和Triplet距离联合损失函数；

所述Softmax分类损失函数为：

其中表示为分类正确的值，N表示样本总数，n表示标签数目，y_i表示样本的标签，s为尺度变量，m为加性角余量惩罚参数，θ_j为第j类分类器矢量与样本矢量间的夹角，θ_yi为标签类分类器矢量与样本矢量间的夹角；

所述Triplet距离联合损失函数为：

其中表示同类间的距离，表示不同类间的距离，α表示间隔超参数，N为样本总数；x_i^a、x_iⁿ分别表示锚样本、正样本、负样本的特征；

步骤1.4：输入人脸图像训练样本，采用ArcFace人脸识别模型学习样本的特征，同时利用Face-Alignment算法提取人脸的眉眼区域；在此基础上，结合学习到的人脸特征以及提取的眉眼部位，对特征进行注意力加权；最后，通过Softmax分类损失函数和Triplet距离联合损失函数计算训练的损失，监督网络学习，获得口罩人脸识别深度学习模型；

步骤2：训练口罩人脸识别深度学习模型；

步骤3：利用训练好的口罩人脸识别深度学习模型对人脸进行识别。

2.根据权利要求1所述的口罩人脸识别方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：构建训练样本集，包括上半部人脸识别样本集、模拟口罩人脸识别样本集、真实口罩人脸识别样本集；

所述上半部人脸识别样本集，利用开源的Face-Alignment算法对人脸对齐，切除现有公开人脸数据集中人脸图像鼻梁以下部分，保持上半部作为切除后的人脸样本；

所述模拟口罩人脸识别样本集，利用公开数据集中的人脸图像带上口罩，得到模拟口罩人脸；

所述真实口罩人脸识别样本集，从互联网上抓取个人的图像样本；利用LabelImg图像标注工具，对样本进行清洗和标注，挑选同时具有口罩人脸和正常人脸的高质量图像，裁剪出人脸部位，作为真实口罩人脸识别样本集；

步骤2.2：训练口罩人脸识别深度学习模型；

利用上半部人脸识别样本集训练模型，将人脸对齐后鼻梁以上部分图像作为口罩人脸识别深度学习模型输入，输出人脸特征，标签为身份ID；获得训练好的口罩人脸识别深度学习模型；

步骤2.3：口罩人脸识别深度学习模型微调；

基于构建的口罩人脸识别样本集，根据已训练好的口罩人脸识别深度学习模型提取上半部人脸样本集的特征，抽取三元组样本对{Anchor,Positive,Negative}，采用Triplet距离联合损失函数计算三元样本对的损失，通过该损失微调原口罩人脸识别深度学习模型高层特征，其中，Anchor、Positive、Negative分别表示锚样本、正样本、负样本；

步骤2.4：验证口罩人脸识别深度学习模型；

利用切除人脸下半部的另外一种公开人脸数据集进行验证，统计识别精度。