[发明专利]一种基于特征映射的多角度侧脸正面化方法

说明书

本发明公开了一种基于特征映射的多角度侧脸正面化方法。该方法首先利用人脸识别模型Light CNN作为特征提取器，提取侧脸输入图像和真实正脸图像的深层特征，学习侧脸特征到正脸特征之间的映射关系，得到模型M；其次以生成对抗网络GAN（Generative Adversarial Network）为主干网络，侧脸图像作为输入图像，利用模型M将侧脸特征映射为正脸特征，同时GAN网络中的编码器提取侧脸图像特征，将两部分特征在通道维度上进行拼接，作为解码器的输入特征，最终输出逼真的虚拟正面人脸图像。本发明在面部全局特征和眼周局部特征上提高了生成图像身份信息保留，可作为一种预处理过程，帮助改善人脸识别模型的性能，特别是在监控视角下的多角度侧脸上，识别率得到提升。

技术领域

本发明涉及一种基于特征映射的多角度侧脸正面化方法，属于侧脸正面化方法领域。

背景技术

随着人工智能的不断发展，人脸识别已经广泛应用于安防系统、视频监控等领域。监控场景下的人脸会存在多种姿态变化，如正脸、偏转角度侧脸和同时包含偏转和俯角变化的侧脸。由于侧脸存在自遮挡问题使得面部中部分关键身份特征缺失，直接使用侧脸与正脸进行识别难度较大。为了缓解这一问题，一般会采用正面化方法，即利用单张或多张侧脸图像恢复出虚拟正脸，再进行识别。这种方法可以作为一种预处理过程，嵌套到现有人脸识别模型中，从而不需要重新训练识别模型，并且在某些场景中，正面化的结果可以作为关键的参考材料，例如在刑侦领域，可以为办案人员提供参考。

现有主要方法有基于三维模型的方法和基于二维图像的方法。基于三维模型的方法主要根据人脸的三维模型进行建模，计算出不同姿态下图像之间像素点的位移关系(形变场)，再作用于二维图像得到正面化图像。比如中国专利201710120029.7提出一种可学习形变场的人脸正面化方法，实现了偏转方向上的人脸正面化，但在多角度侧脸图像上效果较差，容易出现人工伪影。基于二维图像的方法是直接利用正面图像作为训练目标，得到生成的正面化图像。

基于三维模型的方法需要二维图像和三维模型之间的相互映射，这一过程会引入一些误差，且正面化结果通常不够真实，会出现人工伪影和严重的面部纹理信息丢失情况。基于二维的方法恢复出的结果虽然较为平滑，但得到的正面图像身份信息保留较低。此外，现有方法主要针对偏转方向上的侧脸进行正面化，对监控视角下同时包含偏转和俯角变化的侧脸关注较少。

发明内容

为了解决上述问题中的不足之处，提高现有人脸识别模型在多角度侧脸图像上的识别能力，，本发明提出了一种基于特征映射的多角度侧脸正面化方法，可以实现包括偏转方向及偏转-俯角方向的22个角度变化的侧脸正面化，其中偏转方向从-90度到90度以15度为间隔共13个角度，在偏转角为0度、±30度和±60度处加入30度和45度俯角的10个偏转-俯角。该方法加入了特征映射模块和眼周像素级保留损失，可以生成视觉效果更好，身份信息保留更多的正面人脸图像。

本发明中，采用人脸正面化方法(将侧脸图像矫正为正脸图像，利用矫正后的正脸进行识别)以提高现有人脸识别模型在多姿态人脸图像上的识别能力。

生成对抗网络的生成器由编码器和解码器组成，其中编码器包括两部分：一部分利用Light CNN提取输入侧脸图像特征，通过模型M将侧脸特征转换为正脸特征；另一部分利用原始生成对抗网络GAN的编码器提取输入侧脸图像特征，将两部分得到的特征在通道维度上拼接，输入到生成对抗网络的解码器，输出虚拟正脸图像。

为了使虚拟正脸图像保留较多输入侧脸图像的身份信息，在现有全局身份保留损失基础上，本发明加入眼周区域像素级保留损失，以提高虚拟正脸眼周区域的身份保留。

生成对抗网络的判别器输入真实正脸图像和虚拟正脸图像，判别生成图像和真实图像为真的概率值，从而对生成器造成一定的惩罚，使得生成器生成的结果更接近真实图像。