[发明专利]基于Transformer的人脸识别方法

说明书

本发明公开了一种基于Transformer的人脸识别方法，包括如下步骤：S1、获取带有标签的人脸训练图像数据；S2、先经过卷积层进行通道信信息融合；S3、经过6层Transformer Enconder Block编码；S4、经过卷积层进行降维减少参数；S5、经过6层Transformer Decoder Block编码；S6、经过损失函数优化输出数据。本发明用图像的不同patch之间的联合信息提取的方法，可以提高人脸识别表示的运算速度与性能，以及利用位置编码对采样点的人脸进行高维映射，可以很好地映射已有人脸和未知环境人脸之间的关系。

技术领域

本发明属于计算机视觉领域，特别是一种基于Transformer的人脸识别方法。

背景技术

面部识别系统是一种能够从数字图像或视频框架与面部数据库相匹配的技术，通常用于通过ID识别服务对用户进行身份识别，并通过查明和测量给定图像的面部特征来识别用户。

自发明以来，面部识别系统在智能手机和其他形式的技术(例如机器人技术)上看到了更广泛的用途。由于计算机化的面部识别涉及测量人的生理特征，因此面部识别系统被归类为生物识别技术。尽管面部识别系统作为生物识别技术的准确性低于虹膜识别和指纹识别，但由于其非接触式过程，它被广泛采用。面部识别系统已部署在高级人类计算机视频监视和图像的自动索引中。

尽管人类可以毫不费力地识别面孔，但面部识别是计算中具有挑战性的模式识别问题。面部识别系统试图根据其二维图像来识别人脸。但由于人脸实际上是三维的，外观和面部表达的变化都会影响识别的结果。为了完成这项计算任务，面部识别系统执行四个步骤。首先检测用于从图像背景分割面部。在第二步中，分段的面部图像是对齐的，以说明面孔，图像大小和照相特性，例如照明和灰度。对齐过程的目的是使面部特征在第三步(面部特征提取)中准确定位。眼睛，鼻子和嘴巴等特征在图像中被精确定位并测量以表示面部。然后，在第四步中，通过面部建立的特征向量与面部数据库相匹配。

在过去，基于深度卷积神经网络(CNN)的面部识别方法一直在主导该领域，比如三种流行的Deep CNN模型，即AlexNet，VGG-Face和GoogLeNet。他们在所谓的数据集中提供的性能改进非常重要，但是，他们对于大规模数据集的改进非常有限，并且需要设计更大的网络结构，对于现实世界的面部识别量中出现的运动模糊，噪声，压缩伪影，颜色扭曲和遮挡，识别精度可能会出现各种问题。

CNN类网络不能很好地在人脸识别任务上进行泛化。由于面部识别中有许多大型可供训练的数据库，Transformer表现出了出色的性能可以与大型人脸数据库相结合，因此本发明基于Transformer主干网络的基础上提出一种卷积信息融合的人脸识别方案来实现跨域大规模数据人脸识别。由于原始的视觉ViT直接将图像分成若干个patch，因此可能会忽略patch之间的关联，因此本发明在使用Transformer进行编码的时候利用了多个patch之间的联合信息进行综合信息的提取，提高了网络信息利用，加快了训练速度。

发明内容

本发明提出了一种基于Transformer网络进行人脸识别的方法，在Transformer网络的多头自注意力机制基础上加入MP(Mixed Perception)模块进行人脸识别。并且对于传统人脸识别所需的人脸检测和信息处理不同，本发明采用端到端的人脸识别进行检测并识别出人脸身份，省去了训练不同网络带来的繁琐工作。

为实现上述目的，本发明提供了一种基于Transformer网络进行人脸识别的方法，包括如下步骤：

S1、获取带有标签的人脸训练图像数据；

S2、先经过卷积层进行通道信信息融合；

S3、经过6层Transformer Enconder Block编码；

S4、经过卷积层进行降维减少参数；