[发明专利]一种遮挡人脸识别方法及装置

权利要求书

1.一种遮挡人脸识别方法，其特征在于，包括以下步骤：

利用带身份标记的人脸图像训练一个深度神经网络，作为人脸识别器；

利用带身份标记的非遮挡人脸图像、对应的遮挡人脸图像、对应的人脸遮挡标记图、对应的人脸语义分割图、预先训练好的人脸解析器，结合已经获得的人脸识别器，在生成对抗网络框架中训练一个深度神经网络作为人脸生成器，再训练两个深度神经网络分别作为全局人脸判别器和局部人脸判别器；

利用获得的人脸生成器对输入的有遮挡的人脸图像进行修复处理，获得修复后的人脸图像；

利用获得的人脸识别器对修复后的人脸图像进行特征提取或身份分类，获得人脸特征或身份标记，利用获得的人脸特征进行人脸识别，利用获得的身份标记鉴别人脸的身份信息；

所述人脸生成器、所述全局人脸判别器和所述局部人脸判别器的训练过程包括：

由训练数据集获得身份中心特征集；

随机初始化人脸生成器和人脸判别器的网络参数，然后以批次形式进行多轮迭代训练；

从训练数据集中随机选择一批人脸图像对，形成训练样本批；

对训练样本批中的遮挡人脸图像，随机初始化图像中的遮挡区域像素，得到输入遮挡人脸图像；同时，训练样本批中的非遮挡人脸图像作为输入非遮挡人脸图像；

每幅输入遮挡人脸图像送入人脸生成器，得到当前的生成人脸图像；

利用生成人脸图像与对应的输入非遮挡人脸图像，获得表观修复损失和结构修复损失；

表观修复损失和结构修复损失进行相加，组成总的修复损失；根据总的修复损失进行优化，更新人脸生成器的网络参数；

每对生成人脸图像与对应的输入非遮挡人脸图像，通过获得全局人脸判别器获得全局判别损失，通过局部人脸判别器获得局部判别损失，通过人脸识别器获得身份多样性损失；

全局判别损失、局部判别损失和身份多样性损失进行加权累加，得到判别损失，根据判别损失进行优化，更新人脸判别器的网络参数；将基于更新后的人脸判别器的判别损失传递到人脸生成器，对人脸生成器进行优化，更新人脸生成器的网络参数；

从剩下的训练数据集中再随机选择一批人脸图像对，形成训练样本批，重复上述的训练操作；当训练数据集中所有都被选择后，完成一轮迭代；

进行下一轮迭代，直到迭代轮次达到预先设定的最大迭代轮数或者修复损失低于某个预先设定的阈值或者判别损失低于某个预先设定的阈值；

所述由训练数据集获得身份中心特征集，包括：

由训练数据集中的非遮挡人脸图像，结合其身份标签，按身份标签类别，每类分别送入人脸识别器，提取得到人脸身份特征，对人脸身份特征进行平均，得到该类的身份中心特征；

所有类的身份中心特征组成身份中心特征集；

所述获得表观修复损失和结构修复损失，包括：

生成人脸图像与对应的输入非遮挡人脸图像进行差异计算，得到其中表观修复损失；

每对生成人脸图像与对应的输入非遮挡人脸图像，分别送入预先训练好的人脸解析器中，得到相应的一对人脸语义分割图像，进行人脸语义分割图像的差异计算，得到结构修复损失；

所述全局判别损失、所述局部判别损失、所述身份多样性损失采用以下方法获得：

每对生成人脸图像与对应的输入非遮挡人脸图像，分别送入全局人脸判别器，根据判别结果与真实标注结果的差异，得到该图像对的全局判别损失；当前训练样本批中所有图像对的全局判别损失累加得到全局判别损失；

截取每对生成人脸图像与对应的输入非遮挡人脸图像中的修复区域，分别送入局部人脸判别器，根据判别结果与真实标注结果的差异，得到该图像对的局部判别损失；当前训练样本批中所有图像对的局部判别损失累加得到局部判别损失；

每对生成人脸图像与对应的输入非遮挡人脸图像，分别送入人脸识别器，提取到人脸身份特征，与身份中心特征集进行计算，得到该图像对的身份多样性损失；当前训练样本批中所有图像对的身份多样性损失累加得到身份多样性损失。

2.根据权利要求1所述的方法，其特征在于，所述人脸识别器直接采用预训练好的一个人脸识别器，或者集成多个预训练好的人脸识别器，或者重新训练一个人脸识别器。