[发明专利]非线性3DMM人脸重建和姿态归一化方法、装置、介质及设备

权利要求书

1.一种非线性3DMM人脸重建方法，其特征在于，所述方法包括：

使用训练集对非线性3DMM模型进行训练；

其中，所述训练集包括多个2D人脸图像样本，所述非线性3DMM模型包括CNN编码器、多层感知形状解码器、CNN纹理解码器和渲染层；

在训练时，输入所述非线性3DMM模型的2D人脸图像样本经过所述CNN编码器估计得到相机投影参数、形状参数和纹理参数，所述多层感知形状解码器将所述形状参数解码为3D形状，所述CNN纹理解码器将所述纹理参数解码为3D纹理，所述渲染层根据所述相机投影参数、3D形状和3D纹理得到渲染图像；通过损失函数训练所述CNN编码器、多层感知形状解码器和CNN纹理解码器的参数；

将获取的2D人脸图像输入训练好的非线性3DMM模型，得到3D人脸；

其中，2D人脸图像经过所述CNN编码器估计得到形状参数和纹理参数，所述多层感知形状解码器将所述形状参数解码为3D形状，所述CNN纹理解码器将所述纹理参数解码为3D纹理，所述渲染层根据所述3D形状、3D纹理和预定义的2D纹理图进行3D渲染，得到3D人脸。

2.根据权利要求1所述的非线性3DMM人脸重建方法，其特征在于，所述非线性3DMM模型的训练包括先后进行的预训练阶段和微调阶段，其中：

所述预训练阶段的损失函数L₀为：

L₀＝λ₁L₁+L₂+λ₃L₃+λ₄L₄

L₁为关键点损失，L₂为3D形状损失，L₃为3D纹理损失，L₄为投影参数损失；

所述微调阶段的损失函数L为：

L＝L₆+λ₅L₅+λ₁L₁

L₅为对抗损失，在对抗损失中，生成器为所述非线性3DMM模型，判别器为patchGAN的判别器；L₆为重建损失；

X(i,j)为渲染图像在坐标(i,j)处的值，Y(i,j)为2D人脸图像在坐标(i,j)处的值，H、W分别为2D人脸图像的高度和宽度；

λ₁～λ₅为定义的系数。

3.根据权利要求1或2所述的非线性3DMM人脸重建方法，其特征在于，所述CNN编码器包括依次连接的14个卷积层、AvgPool层和全连接层，所述CNN编码器在所述AvgPool层输出形状参数和纹理参数；所述CNN纹理解码器包括依次连接的全连接层、14个卷积层，所述CNN纹理解码器在最后一个卷积层输出3D纹理；所述多层感知形状解码器包括两个全连接层。

4.根据权利要求3所述的非线性3DMM人脸重建方法，其特征在于，所述渲染层根据所述3D形状、3D纹理和预定义的2D纹理图进行3D渲染，得到3D人脸，包括：

预定义2D纹理图，所述2D纹理图每个像素点与3D形状的顶点相对应；

通过2D纹理图中每个像素点纹理值确定3D形状中每个顶点的纹理值。