[发明专利]多分支深度学习的3D人脸重建模型训练方法、系统及介质

权利要求书

1.一种多分支深度学习的3D人脸重建模型训练方法，其特征在于，包括以下步骤：

获取第一人脸图像，将所述第一人脸图像输入到预先构建的人脸识别网络得到第一身份信息，并将所述第一人脸图像输入到预先构建的人脸对齐网络得到第一关键点位置信息；

根据所述第一身份信息确定第一人脸几何形状信息，并将所述第一身份信息和所述第一关键点位置信息输入到预先构建的表情识别网络中，得到第一人脸表情信息；

将所述第一关键点位置信息、所述第一人脸几何形状信息以及所述第一人脸表情信息输入到预先构建的生成对抗网络中，得到第一渲染图像；

根据所述第一渲染图像更新所述人脸识别网络、所述人脸对齐网络、所述表情识别网络以及所述生成对抗网络的网络参数，得到最优参数组合，进而根据所述人脸识别网络、所述人脸对齐网络、所述表情识别网络以及所述生成对抗网络以及所述最优参数组合得到3D人脸重建模型。

2.根据权利要求1所述的一种多分支深度学习的3D人脸重建模型训练方法，其特征在于：所述人脸识别网络为FaceNet网络，所述人脸对齐网络为MTCNN网络，所述表情识别网络为轻量型RingNet网络。

3.根据权利要求1所述的一种多分支深度学习的3D人脸重建模型训练方法，其特征在于，所述根据所述第一身份信息确定第一人脸几何形状信息这一步骤，其具体为：

通过主成分分析算法对所述第一人脸图像进行特征提取和降维处理得到降维矩阵，根据所述第一身份信息和所述降维矩阵确定第一人脸几何形状信息。

4.根据权利要求1所述的一种多分支深度学习的3D人脸重建模型训练方法，其特征在于：所述生成对抗网络包括生成器和判别器，所述生成器包括纹理生成模块和渲染模块，所述生成器用于根据所述第一关键点位置信息、所述第一人脸几何形状信息、所述第一人脸表情信息以及所述生成对抗网络的预设参数生成渲染图像，所述判别器用于根据生成器输出的渲染图像通过反向传播算法更新所述人脸识别网络、所述人脸对齐网络、所述表情识别网络以及所述生成对抗网络的网络参数。

5.根据权利要求4所述的一种多分支深度学习的3D人脸重建模型训练方法，其特征在于，所述将所述第一关键点位置信息、所述第一人脸几何形状信息以及所述第一人脸表情信息输入到预先构建的生成对抗网络中，得到第一渲染图像这一步骤，其具体包括：

将所述第一关键点位置信息输入到所述纹理生成模块得到第一纹理贴图；

对所述第一纹理贴图进行超分辨率处理得到第二纹理贴图；

根据所述第二纹理贴图确定纹理法向量，根据所述第一人脸几何形状信息确定人脸几何形状法向量，根据所述第一人脸表情信息确定人脸表情法向量；

将所述纹理法向量、人脸几何形状法向量以及人脸表情法向量输入到所述渲染模块得到第一法线贴图；

对所述第一法线贴图进行可微分渲染得到第一渲染图像。

6.根据权利要求4所述的一种多分支深度学习的3D人脸重建模型训练方法，其特征在于，所述根据所述第一渲染图像更新所述人脸识别网络、所述人脸对齐网络、所述表情识别网络以及所述生成对抗网络的网络参数，得到最优参数组合这一步骤，其具体包括：

将所述第一渲染图像输入到所述判别器，根据预设的损失函数计算得到损失值；

根据所述损失值通过梯度下降算法和反向传播算法更新所述人脸识别网络、所述人脸对齐网络、所述表情识别网络以及所述生成对抗网络的网络参数；

当损失值达到预设的第一阈值，或，迭代次数达到预设的第二阈值，或，测试精度达到预设的第三阈值，停止训练，得到所述最优参数组合。