[发明专利]一种基于特征感知在双模式人脸变换下的人脸正面化方法

说明书

本发明涉及人脸正面化技术领域，尤其涉及一种基于特征感知在双模式人脸变换下的人脸正面化方法，包括S1、输入任意角度的人脸图像；S2、通过3DDFA模型获得3D模型；S3、用3D模型根据任意角度的人脸图像得到正面的有损人脸；S4、将正面的有损人脸输入GAN网络，得到无损的正面人脸。本发明基于双模式的生成对抗网络模型，应对不同姿态下不同特点的人脸正面化问题；借助3D模型能拟合任意姿态人脸的特点，将二维图像拟合到3D模型中，旋转3D模型值某一姿态角实现人脸变换；为了保持正面人脸视图的细节信息，在生成网络中加入了融合内容损失和身份损失的感知损失模块，提高生成正面视图的真实感。

技术领域

本发明涉及人脸正面化技术领域，尤其涉及一种基于特征感知在双模式人脸变换下的人脸正面化方法。

背景技术

随着深度学习的发展和大量人脸图像的获取，人脸识别方法不仅取得了很大进展，而且应对人脸识别过程中越来越复杂的情况。在姿态不变人脸识别的研究工作中，有两种主流方法，一种是提取并学习不同姿态的人脸特征，另一种是先将人脸统一调整为正脸再进行特征提取。两种方法包含了人脸正面化和特征学习两方面的内容。然而最新的人脸识别方法中，人脸验证基准数据库cfp的frontal-frontal和frontal-profile的性能相差超过10％。RAR实现了由大量数据驱动的无监督人脸正面化模型，在小角度人脸正面化中有很好的效果。DR-GAN、TP-GAN学习了能应用到人脸识别的人脸生成模型，完成大姿态人脸到正脸的转换，取得了一定的成果，但DR-GAN在cfp的frontal-profile的生成识别中的精度不是很高，这也是人脸正面化的难度所在。

目前，人脸正面化方法有基于3D的方法3dmm.hassner，深度学习的方法yim，统计方法。经典3dmm模型中的3D人脸模型由形状和纹理的向量表示，由构成平均人脸的向量的线性组合模拟更多的人脸。15年由hassner等人也采用平均3D模型实现人脸正面化。随着深度网络的发展和大角度人脸正面化的需求，基于深度网络的2D和3D纹理扭曲模型ffgan、ffwm成为主流。Yim是一个典型的2D人脸正面化模型，通过将一张二维图片和Remote Code输入到DNN网络，实现目标姿态人脸重构。随着生成对抗网络Goodfellow的提出，在图像生成方面的应用越来越广泛，更多的基于2DGAN网络的人脸正面化网络不断出现。DRGAN应用GAN网络结构的同时，框架结构与Yim相似。DRGAN输入图像、噪声和姿态编码到其GAN网络中，生成对应的身份表示和目标姿态的人脸。典型的双通道人脸正面视图合成网络就是基于两个网络生成输入图像的局部五官和全局轮廓的正面视图。随着3dmm模型的提出和不断发展，BFM数据库被广泛应用，每一个三维人脸都能用相同的点云数或面片数表示。基于应用3D的人脸正面化方法被提出。HF-PIM引入3D人脸UV贴图与稠密对应场一起输入到基于CNN的wrapper中，生成正面人脸。UV-GAN应用了3DMM模型，获得3D人脸模型对应的UV贴图。贴图中因为角度问题不可见的人脸纹理用噪声填充。最终的结果是通过网络训练生成完整的UV贴图后，再映射到3D模型中，获得包括正面的各个角度的视图。最新的RAR模型利用了3D建模、渲染模型和GAN实现任意角度的旋转和人脸细节的合成。

感知损失函数早在16年就被提出应用到风格转换和超分辨率图像重建,更多的结合对抗网络应用到图像或视频超分辨率的任务中。引入感知损失替代了像素损失，把像素损失归结为MSE回归问题的处理方式，有利于图像因为位移出现像素位置偏差时，仍然能正确判定图像异同的问题。srgan为了实现具有真实感的超分辨率图像重建，提出了内容损失与对抗损失结合的感知损失函数。在感知相似的基础上加入了内容相似的函数，提升超分辨率图像重建的细节。esrgan作为增强型srgan被提出，改进了网络结构，仍然保留感知损失作为超分辨率图像生成的核心损失函数。

发明内容

本发明所要解决的技术问题是：传统模型生成的正面图像容易丢失输入图像的身份特征；传统模型不能很好生成被遮挡部位的特征。

本发明所采用的技术方案是：一种基于特征感知在双模式人脸变换下的人脸正面化方法包括以下步骤：