[发明专利]一种小样本场景下基于双流原型的遮挡人脸识别方法

说明书

为了解决小样本场景下人脸图片中存在遮挡识别的问题。本发明公开了一种小样本场景下针对带遮挡图片的双流原型学习方法。不同于单独从支持集或查询集角度考虑优化的类原型学习的方法，本发明的框架将两者结合起来，它可以为支持集中的样本图片学习相应的自适应样本权重。这样既考虑了支持集内由于遮挡带来的图片质量参差不齐，可以在以支持集为中心的流中减小遮挡样本的权重；又在原型构造时利用特征对齐模块，从而考虑了那些更与查询集图片相关的middle‑level的特征表征，并且与high‑level的特征表征相似度的一致性约束使得在以查询集为中心流学习到的原型更加可靠。本发明提高了对新的受试者的遮挡人脸识别的准确性，能够对实际应用提供帮助。

技术领域

该技术属于人工智能和图片分类领域，具体涉及一种小样本场景下针对带遮挡图片的双流原型学习方法。

背景技术

近些年，深度学习技术在识别有遮挡的人脸图片方面取得了非常大的成就，这主要得益于以下两个因素：大规模、高质量的人脸存储库以及有限的遮挡场景模式(例如，遮挡的人脸数据集是人工合成的，由太阳镜和围巾等遮挡物直接添加在已有的人脸图片上得到)。然而在实际中，对于一个机器之前从未学习过的新的受试者，其可供机器学习的有标注人脸图片数量非常少。这会导致在人脸存储库上训练的模型很难像人类一样依据先验知识迅速从新受试者的少量样本中学习，可能需要将新受试者极其有限的人脸图片加入训练数据中重新训练，耗费大量计算时间。而且人工合成的遮挡与现实生活中的自然遮挡非常不同，自然遮挡通常来自：捕捉到非正面的人脸、极端光线造成的面部阴影和口罩带来的部分遮挡等。因此，设计一种能够在小样本场景下、人脸图片可能存在遮挡的情况下进行人脸识别的方法具有重大意义。

小样本的遮挡下的人脸识别问题，称为FSFRO(Few-Shot Face Recognitionunder Occlusions)可以建模为小样本学习领域中的图片分类任务，其中，一个受试者被看作一个类别；而人脸图片中的遮挡则在模型的特征表征学习过程中表现为不同程度的特征抖动，这种特征抖动在小样本的场景下带来的影响会更剧烈。

小样本学习的图片分类方法主要包含三大类：基于数据的、基于度量的以及基于算法的。基于数据的方法利用先验对少量的训练数据做数据增强以增加训练时的样本量。基于算法的方法通过利用少量的标注样本对用于分类的网络模型进行训练，然后在测试阶段，利用新任务对网络模型进行优化。基于度量的方法通常是利用少量的标注样本学习类别表征，然后根据待分类对象的特征表征与类别表征之间的关系确定待分类对象的类别。例如，Prototypical Networks将查询样本的特征表征与支持集每一类全部样本的平均特征表征(类别原型)做固定的欧式距离计算。特别地，针对特征表征学习过程中的特征抖动问题，大多数的解决方法是减少同一类对象其特征表征的类内差异并修正类别原型，使得提取到的特征表征对遮挡场景具有鲁棒性。但它们在构造类别原型时往往只单独考虑支持集内部来自同一类的图片之间的联系，或者只单独考虑查询集与支持集内图片的联系。

尽管有许多基于度量的方法都可以用来解决小样本的遮挡人脸图片分类问题，然而，现有方法存在以下不足：

1.现有的方法大多数在学习类别原型时仅从一个角度出发，将支持集图片间的关系和它与查询集的相关性结合的原型学习很少有人研究。

2.在特征表征学习过程中，现有的方法大多将存在遮挡的图片看作低质量样本，这在查询样本属于遮挡样本时不一定适用。

发明内容

本发明针对现有技术的不足，提供一种小样本场景下遮挡人脸图片识别的双流原型学习方法。它的发明目的是：

1.在小样本条件下提出通用的双流框架学习优化的类别原型，同时考虑了支持集图片间的相关性和它们与查询样本的关系。

2.自适应地从支持集和查询集两个方面调整被遮挡的人脸图片在类别原型形成时的贡献度。