[发明专利]一种基于特征感知在双模式人脸变换下的人脸正面化方法

权利要求书

1.一种基于特征感知在双模式人脸变换下的人脸正面化方法，其特征在于，包括以下步骤：

S1、输入任意角度的人脸图像；

S2、通过3DDFA模型获得3D模型；

S3、用3D模型根据任意角度的人脸图像得到正面的有损人脸；

S4、将正面的有损人脸输入GAN网络，得到无损的正面人脸。

2.根据权利要求1所述的基于特征感知在双模式人脸变换下的人脸正面化方法，其特征在于，所述通过3DDFA模型获得3D模型的公式为：

其中，人脸形状模型表示为一个向量S∈R^3N，N是顶点数量，是平均形状，其中V＝[v₁,v₂,...,v_m]∈R^3N×m是PCA得到的主成分，α就是形状参数，e_i是形状对应的主成分，将3D人脸模型拟合到2D图像中，通过正交投影投影到二维平面上，有以下公式：

P＝f*Pr*R*S+t (3)

其中，Pr是正交投影矩阵，R是旋转矩阵，f是比例因子，t是位移向量，求解的模型参数集合为parameters＝[f,R,t,α,β]。

3.根据权利要求1所述的基于特征感知在双模式人脸变换下的人脸正面化方法，其特征在于：所述得到正面的有损人脸是将正面有损失人脸I₀与正面有损人脸I′输入集合为I^input＝{I₀,I′}，对应的ground truth集合为I^GT＝{I^F,I}，I^F表示对应输入图像I的正面真实图像。

4.根据权利要求3所述的基于特征感知在双模式人脸变换下的人脸正面化方法，其特征在于，所述正面有损失人脸I₀包括：将3D人脸模型M(P)对应的姿态为R，转换模型面部姿态R-R0，得到新的3D人脸模型M(P0)；R0为对应正面人脸模型的旋转矩阵，由R乘以旋转矩阵得到，获取输入图像纹理T，由纹理T和旋转后的3D正面人脸模型渲染到2D图像，得到正面有损失人脸I₀。

5.根据权利要求3所述的基于特征感知在双模式人脸变换下的人脸正面化方法，其特征在于，所述正面有损失人脸I′是将3D人脸模型M(P)对应的姿态为R转换模型面部姿态，R→R_m，得到新的3D人脸模型M(P_m)，R_m为对应目标姿态人脸模型的旋转矩阵，由R乘以旋转矩阵得到，获取输入图像I的纹理T，由纹理和旋转后的3D正面人脸模型渲染为2D正面有损失人脸I_m；获取图像I_m的纹理T_m，由纹理T_m和图像I的3D正面人脸模型M(P)渲染到2D图像，得到正面有损失人脸I′。