[发明专利]基于渐进式神经网络和注意力机制的跨姿态人脸识别方法和系统

说明书

本发明公开了一种基于渐进式神经网络和注意力机制的跨姿态人脸识别方法和系统，包括如下步骤：使用MTCNN工具进行人脸检测和关键点对齐；对每一张人脸图像，估计姿态信息；为每张人脸图像采样一张正脸图像作为基准图像，构成图像对输入设计好的渐进式神经网络中提取人脸特征对以及进行身份预测；使用上述特征对计算注意力加权均方误差损失函数，并结合分类的交叉熵损失函数训练神经网络；使用训练好的神经网络提取人脸特征并进行人脸验证。本发明构建了新的轻量级渐进式网络结构和基于注意力的损失函数，能够有效地在特征空间上将侧脸图像的特征进行摆正，从而解决人脸识别领域中姿态变动造成人脸识别性能下降的问题。

技术领域

本发明涉及人脸识别技术领域，具体涉及一种基于渐进式神经网络和注意力机制的跨姿态人脸识别方法和系统。

背景技术

人脸识别是一项关键的技术，在银行、电子商务、互联网金融、电子娱乐、教育、金融、证券等各领域都有着广泛的应用。然而，虽然目前的人脸识别技术已经达到了较为瞩目的识别精度，在处理大姿态下的人脸时，相比于处理姿态较小的人脸，大多数人脸验证算法识别的精度往往下降地非常明显。Senguptal等人在2016年IEEE WACV的会议文章中指出，在识别大姿态人脸时这些算法识别精度的下降幅度超过了10％。这意味着人脸姿态变动的影响已经成为了人脸识别领域中的一个重要挑战，而这个问题的解决将进一步提高人脸识别的安全可靠性，从而为人脸识别领域带来一个质的提高。

为了克服姿态变动对人脸识别的影响，研究人员作了种种探索。其中一个重要的方法就是收集包含更多不同姿态的人脸、姿态分布更加均衡的大型无约束人脸数据集，比如Ms-Celeb-1M，VGGFace2、YouTubeFace，这样训练出来的人脸识别模型能够对不同姿态下的人脸均有较强的适应能力和拟合能力。但是收集这样的大型数据集往往需要耗费巨大的人力与物力，耗时长久，而且由于现实生活中出现的侧脸图像比较少，这些数据集往往仍然是姿态不均衡的，包含的正脸图像的数量远远超过侧脸。另一个重要的方法是使用合成人脸图像的方法来将侧脸图像转换成正脸图像再通过人脸识别网络进行识别，比如Tran等人在2019年的IEEE TPAMI期刊文章中提出的DR-GAN的方法和Deng等人在2018年的IEEE CVPR会议文章中提出的UV-GAN的方法。这些方法存在的问题主要在于：一方面需要额外的开销来合成人脸图像，另一方面受限于目前GAN网络的拟合能力，生成的人脸图像仍然与现实中的人脸图像存在差异，当使用这样的生成图像来进行识别时就不可避免地引入了误差。还有一个重要的方法是为每种姿态的人脸分别训练一个人脸识别网络进行识别，在测试时根据输入人脸的姿态自适应地选择合适的网络，然后将不同网络的结果进行整合，比如Iacopo Masi等人在2019年的IEEE TPAMI期刊文章中提出的PAM的方法。虽然这样能够较为灵活地处理了不同姿态的人脸，但是多个深度神经网络的使用，无疑使得参数量和计算量成倍增加。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，本发明在普通的深度神经网络后面构建一个渐进式的特征摆正网络，直接在特征空间上进行人脸摆正而不是在图像空间上进行人脸摆正，以避免额外的开销与误差，而渐进式的网络结构能够灵活地对不同姿态的人脸分别进行处理而不需要为每种姿态的人脸安排不同的识别网络，同时，注意力加权均方误差函数的引入保证了特征摆正过程的有效性；采用轻量级的网络结构与基于注意力机制结合的方式，在特征空间上将侧脸图像的特征拉近正脸图像的特征，达到以轻便的网络实现大姿态人脸识别性能提升的效果。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种基于渐进式神经网络和注意力机制的跨姿态人脸识别方法，包括下述步骤：

对收集的人脸图像数据进行预处理，包括人脸检测、关键点检测、人脸对齐；

对经过预处理的人脸图像检测姿态角度；