[发明专利]一种基于原型与对抗学习的单样本人脸识别方法

说明书

本发明公开了基于原型与对抗学习的单样本人脸识别方法，该方法利用Baseset(每类多个样本)对预训练模型进行微调训练，得到一个人脸特征表示模型，并提出利用原型网络的思想求Novelset(每类单个样本)中单样本的类特征中心；然后，根据抽取到的特征训练基于原型引导的特征生成器，在原型特征中心的基础上加入随机噪声生成新的特征，引入特征真假鉴别器与变化鉴别器引导特征生成器生成具有丰富变化信息的真实特征，同时融合分类器进行多任务学习，修正分类器的决策边界。本发明对人脸识别中的表情、光照变化和遮挡等噪声具有很好的鲁棒性，识别精度高。

技术领域

本发明涉及一种基于原型与对抗学习的单样本人脸识别方法，属于人脸识别技术领域。

背景技术

人脸识别一直是计算机视觉和模式识别领域的研究热点，在信息安全、访问控制、人机交互、娱乐等领域有着广泛的应用前景。近二十年来，人脸识别技术取得了显著的进步，如判别子空间学习方法(P.N.Belhumeur,J.P.Hespanha.Kriegman,D.J.“Eigenfacesvs.Fisherfaces:Recognition using class specific linear projection,”IEEETransactions on Pattern Analysis and Machine Intelligence,1997,19(7):711-720)，基于稀疏表示的分类方法(J.Wright,,A.Y.Yang,A.Ganesh,,S.S.Sastry,Y.Ma.“Robust face recognition via sparse representation,”IEEE transactions onpattern analysis and machine intelligence,2008,31(2),210-227.)，与此同时，深度学习的快速发展给人脸识别任务带来了新的突破。上述方法中，大部分的方法是需要大量的训练样本来使模型具有鲁棒性。然而，在许多现实场景中，如护照验证和身份证识别，通常只有一个训练样本，即所谓的每人单样本(SSPP)问题。在这种情况下，经典的人脸识别方法会面临着识别效果下滑甚至无法工作的情况。此外，待识别的图像可能包含许多人脸变化，如光照、表情和遮挡等，这进一步增加了解决该问题的难度。

在众多已有的人脸识别方法中，最重要的两部分就是人脸特征提取和基于特征的分类器训练。作为人脸识别问题中的一种，单样本人脸识别自然也不例外，只是每类的样本数目限制和复杂的类内人脸变化给这一过程增加了难度。在人脸图像层面做图像生成，理论上可以实现单样本人脸问题到多样本人脸识别问题的过渡，然而受限于小样本问题，生成的图像受到图片噪声、人脸身份信息不稳定的干扰，并不能有效的提升识别精度。在人脸图像特征层面，一方面，每类单张训练样本的特征并不能很好的划分特征空间；另一方面，实际应用中经常存在部分类别是多样本，部分类别只有单样本的问题，这种类别不平衡的问题也给识别带来影响，多样本的类别每类有多个特征会挤压单样本类别的特征空间。

发明内容

本发明所要解决的技术问题是：提供一种基于原型与对抗学习的单样本人脸识别方法，针对单样本训练集进行特征中心校正，设计特征生成器以丰富训练样本，解决了目前单样本人脸识别对训练样本质量要求高，同时缺乏高质量训练集的问题。

本发明的技术解决方案：一种基于原型与对抗学习的单样本人脸识别方法，该方法包括如下步骤：

步骤1，利用Baseset中所有的人脸训练数据对预训练网络进行微调，得到一个适用于目标数据集的网络特征提取模型。微调过程中网络输入为人脸图像x，标签为y，利用交叉熵损失对预训练的网络进行微调，得到一个将人脸图像x映射到特征空间的特征表示模型φ(·)；

步骤2，基于特征表示模型φ(·)提取到的人脸特征借助于原型网络的思想，利用Baseset学习一个从Novelset中单样本特征到类特征中心的映射，得到Novelset的原型特征；