[发明专利]基于图卷积融合网络的口罩人脸识别方法、系统及设备

说明书

本发明公开了一种基于图卷积融合网络的口罩人脸识别方法、系统及设备，首先利用改进ResNet‑50网络对输入的口罩人脸图像进行特征表示，同时利用人脸关键点检测技术得到输入人脸的眉眼RoI信息；然后将人脸特征图和眉眼RoI信息输入到眉眼区域池化模块得到眉眼局部特征以及全局特征，再通过图卷积融合网络得出最终的人脸判别特征；最后，使用ArcFace损失函数优化CNN骨架和图卷积融合网络的参数，使得最终产生更具判别性的口罩人脸识别特征。本发明方法有效克服了现有人脸识别方法在口罩遮挡情况下精度低的问题。

技术领域

本发明属于计算机视觉技术领域，涉及一种戴口罩的人脸识别方法、系统及设备，具体涉及一种基于图卷积融合网络的口罩人脸识别方法、系统及设备。

技术背景

自疫情开始以来，佩戴口罩几乎是所有国家和地区居民出行的必备操作。但严重的面部遮挡会对人脸识别技术构成严重挑战，受此影响，类似手机解锁、安检验票、闸机通行、安防监控等场景应用的人脸识别准确率均会出现不同程度的下降。如何针对面部遮挡和复杂噪声进行有效建模，恢复出真实面部信息，是鲁棒人脸识别中重要且具有挑战性的问题。

美国国家标准与技术协会（NIST）的一项研究发现，戴上足够覆盖口鼻的口罩会导致一些最广泛使用的面部识别算法（包括松下和三星等厂商所设计的89种面部识别方法）的错误率高达5%至50%。遮挡下的人脸识别是业界公认的难题，口罩人脸作为遮挡人脸的特殊情况，其识别难度具体表现在三方面：1）戴上口罩后，因鼻子、嘴巴等五官信息被遮挡，人脸面部可用于辨别的信息会大幅减少；2）脸部轮廓等可辨别信息在物理分布上不均衡，因此按照传统思路训练出的人脸识别模型，精度都会出现大幅下降；3）戴口罩的人脸数据样本集很稀缺。

最初的口罩人脸识别算法采用口罩人脸数据增广的方式来提升戴口罩下的人脸识别准确度，然而，现实生活中存在口罩样式多样、口罩遮挡范围不确定等问题，这些对基于数据增广的口罩人脸识别方法影响较大。自 2021年以来，越来越多研究者开始关注眼部关键点的判别特征，提升模型在口罩遮挡情况下的表现，这已经成为口罩人脸识别的重要发展趋势。然而，受限于口罩佩戴方式以及人脸库规模，现有的口罩人脸识别技术并不可靠，有待为戴口罩这种重度遮挡的人脸识别问题探索更有效的方法。

发明内容

为了解决上述技术问题，本发明结合图卷积网络，提供了一种基于图卷积融合网络的口罩人脸识别方法、系统及设备，通过将口罩人脸的眉眼特征与全局特征融合，提取人脸眉眼部分更具判别性的特征，达到准确识别戴口罩人脸目的。

本发明的方法所采用的技术方案是：一种基于图卷积融合网络的口罩人脸识别方法，包括以下步骤：

步骤1：对口罩人脸图像进行特征表示，获得人脸特征图；

其中，采用改进ResNet-50网络，对源于自然拍摄且经过人脸对齐后的图像进行特征提取；所述改进ResNet-50网络，是在ResNet-50网络中去掉平均池化层和全连接层后获得的网络，通过4个CNN块学习得到四个特征图，记为F₁，F₂，F₃，F₄；

步骤2：获取人脸图像对应的眉眼RoI信息；

步骤3：将人脸特征图和眉眼RoI信息转化为对应的眉眼局部特征以及全局特征；所述眉眼局部特征包括左眉特征，右眉特征，左眼特征和右眼特征；

步骤4：融合眉眼局部特征和全局特征，得到最终的人脸判别特征。

本发明的系统所采用的技术方案是：一种基于图卷积融合网络的口罩人脸识别系统，包括以下模块：

模块1，用于对口罩人脸图像进行特征表示，获得人脸特征图；