[发明专利]一种基于低秩注意力机制的口罩人脸识别算法

说明书

本发明是一种基于低秩注意力机制的口罩人脸识别技术。首先在注意力机制中引入低秩操作，通过低秩注意力机制能够感应口罩信息和人脸；然后结合掩膜技术降低口罩部分权重，减轻口罩对人脸识别任务的干扰。使用该模型进行人脸特征提取再进行人脸比对，保持对正常人脸识别高准确率，同时提升对口罩人脸的识别准确率。

技术领域

本发明涉及深度学习技术领域下，将改进的注意力机制嵌入到卷积神经网 络中，使用特定的正常人脸数据集和口罩人脸数据集训练出人脸识别模型。方 法使用该模型进行特征提取再进行人脸比对，在保持正常人脸高识别准确率的 同时大大提升口罩人脸的识别准确率。

背景技术

口罩人脸识别是对佩戴口罩人脸进行身份识别，以其口罩信息干扰和识别 有效面积较小等特点，在新冠肺炎疫情爆发后成为人脸识别领域的难点和热点， 传统的人脸识别算法由于没有大面积遮挡的去噪能力在口罩人脸识别任务中准 确率较低。发明一种能够兼容正常人脸识别和口罩人脸识别的方法具有很高的 实用价值。

发明内容

本发明为了解决现有人脸识别技术的不足，提出了一种基于低秩注意力机 制的口罩人脸识别算法，首先在注意力机制中引入低秩操作，低秩注意力机制 学习口罩人脸组件信息，使用相似计算和映射计算感知口罩信息和人脸信息； 然后结合掩膜技术降低口罩部分权重，减轻口罩对人脸识别任务的干扰。

为实现上述功能，本发明提出了一种基于低秩注意力机制的口罩人脸识别 算法，包括以下步骤：

1)构建数据集并进行预处理；

2)在注意力机制引入低秩操作和掩膜操作，构建低秩注意力机制；

3)将改进的注意力机制嵌入到卷积神经网络中，构建出人脸特征提取模 型；

4)使用数据集对模型进行训练；

5)使用人脸识别模型对摄像头捕获的人脸图像进行身份识别。

在步骤1)中，使用生成式对抗网络对CASIA-WebFace的10 575个人的494414 张图像进行模拟口罩佩戴，再使用合成的口罩人脸数据集和正常人脸数据集进 行1：1的混合，形成混合人脸数据集。

在步骤2)中，改进的注意力机制分为组件学习模块、定位模块和掩膜模块。 目的是为了消除在卷积神经网络中的口罩信息。结构如图1所示。

在组件学习模块中，初始化k(k＜＜i)个向量μ^(t)(t为迭代次数)以迭代(iterate)方式对卷积神经网络中的人脸特征图X进行低秩化学习， 获得口罩人脸组件：将分别与人脸特征图X中所有像素点X_j进行 相似计算得到注意力图(Attention Maps)(k张注意力图)：

再使用对进行更新，每一次更新为与所有像素点相似度的加权平均 (即为Non-Local模块中的映射计算(Mapping calculate))，往与其相似像素 点的方向进行更新：

在组件学习模块中进行t次迭代。

在定位模块中通过口罩组件定位口罩：低秩人脸组件μ中含有口罩组件和人 脸组件，本文将μ＝{μ₁,μ₂,…μ_k}与口罩组件(预先通过可视化确定的口罩组件)进 行余弦相似计算，超过阈值的组件判断为口罩组件μ_m＝{μ₁,μ₂,…μ_l}，使用μ_m和X通 过注意力机制构建口罩特征图X_m：

C_m＝softmax(μ_l^TX)