[发明专利]一种基于面部特征的任意姿态正脸还原网络

说明书

一种基于面部特征的任意姿态正脸还原网络，针对目前姿态矫正问题所存在的不足，主要目的是对于未知姿态角的侧脸图像利用特征提取等方法进行正脸还原，从而获得与原始目标正脸较为接近的一个正脸图像。该神经网络利用生成式对抗网络的自身优势，结合几何特征和几何关系判定，获得姿态角的范围，可以在未知姿态角的前提下，复原出较为真实的正脸图像。

技术领域

本发明涉及模式识别领域，尤其涉及在人脸检测与人脸识别应用中即一种基于面部特征的任意姿态正脸还原网络。

背景技术

多姿态人脸识别是目前机器学习和神经网络研究的重点之一。对于人脸识别，一个良好的姿态能够大大提高识别精确度，同时能够让识别算法更容易处理遮挡和光照等问题。但是在实际应用中，摄像头很难获得一个标准对齐的正脸图像，这就对人脸姿态矫正提出了技术挑战。

目前研究人员对于人脸姿态矫正的研究已经进行到一定程度，主要分为两种思路，即二维（2D）和三维（3D）。二维思路就是不进行三维建模，通过传统算法，诸如堆叠步自编码等方法逐步将侧脸还原，或者利用深度卷积神经网络进行特征重建，还原出正脸图像。而三维建模的方法就是通过大量计算和人脸本身的对称性进行人脸三维建模，该方法计算量大而且效果表现一般。目前转换效果较好的算法，多数是利用生成式对抗网络，在已知姿态角的前提下进行复原。但实际需求往往是在未知姿态的情况下。

生成式对抗网络最早在2014年问世，短短几年时间已经变成图像处理领域应用最广泛的神经网络架构之一。生成式对抗网络由一个生成器G和一个判别器D构成，生成器用于生成目标的图像，同时判别器用于判定输入的图像是真实图像还是由生成器生成的图像，两个独立的网络互相博弈，最终二者性能都得到了提升。

发明内容

为了解决现有技术存在的问题，本发明提出了一种基于面部特征的任意姿态正脸还原神经网络，针对目前姿态矫正问题所存在的不足，主要目的是对于未知姿态角的侧脸图像利用特征提取等方法进行正脸还原，从而获得与原始目标正脸较为接近的一个正脸图像。该神经网络利用生成式对抗网络的自身优势，结合一步几何特征和几何关系判定，获得姿态角的范围，可以在未知姿态角的前提下，复原出较为真实的正脸图像。

（1）一种基于面部特征的任意姿态正脸还原网络的整体结构设计

该网络在设计上以传统生成式对抗网络为基础，以生成器G和判别器D为主体部分，如图一所示。示例图片来自MultiPIE数据集。将来自MultiPIE数据集的侧脸图像输入，进行特征提取，获取眼部、鼻子和嘴巴的特征区域，定位中心点，分析几何关系，获得姿态角；将姿态角和原始侧脸输入生成器G，生成正脸图；随后将生成的正脸图输入判别器D，D的输入还包括原始正脸图，经过判别器D的分辨，将结果反馈到生成器G，然后将上述网络反向求导，逐步改进网络。经过这样一个以GAN为基础的网络训练，可以将未知姿态角的人脸图像还原到一个和真实正脸越来越接近的正脸图像。

（2）姿态角计算算法

姿态角，即相对于标准正面方向人脸的偏转角度，可以从0度分别向左右两个方向旋转，最大可达180度，但从人脸检测与识别的实际价值出发，我们一般只考虑90度以内的旋转问题。在利用几何特征进行姿态计算时，人脸特征主要包括眉毛、眼睛、鼻子、嘴巴和脸颊5个部分，有时还会包括瞳孔和鼻孔位置。