[发明专利]基于弱监督学习的三维人脸重建模型建立方法及其应用

权利要求书

1.一种基于弱监督学习的三维人脸重建模型建立方法，其特征在于，包括：

建立用于三维人脸重建的弱监督学习模型，所述弱监督学习模型包括：三维人脸重建网络，用于从输入图像提取三维人脸参数，所述输入图像含有人脸图像，所述三维人脸参数包括形状参数和粗纹理参数；人脸特征提取模型，用于从所述输入图像提取人脸特征向量；GCN优化解码器，用于根据所述人脸特征向量对所述粗纹理参数进行优化，得到精纹理参数；以及三维人脸生成器，用于根据所述形状参数和所述精纹理参数生成三维人脸模型；

获取人脸图像数据集，对所述弱监督学习模型进行训练；训练过程中，将所述弱监督学习模型输出的三维人脸模型渲染为二维人脸图像，并基于渲染得到的二维人脸图像与输入图像之间的误差计算损失值，根据所计算的损失值对模型进行模型参数优化，以最小化二维人脸图像与输入图像之间的误差；训练结束后，得到三维人脸重建模型。

2.如权利要求1所述的基于弱监督学习的三维人脸重建模型建立方法，其特征在于，训练过程中，所使用的损失函数L为：

L＝ε₁[L_p+ε₂L_i]+ε₃L_v

其中，L_p、L_i和L_v分别表示渲染得到的二维人脸图像相对于输入图像的颜色损失、感知损失和顶点损失，ε₁、ε₂和ε₃为用于控制几种损失的权重常数。

3.如权利要求1或2所述的基于弱监督学习的三维人脸重建模型建立方法，其特征在于，所述三维人脸重建网络为预训练好的3DMM回归器，且所述粗纹理参数包括纹理参数、表情参数、光照参数和姿态参数。

4.如权利要求1或2所述的基于弱监督学习的三维人脸重建模型建立方法，其特征在于，所述人脸特征提取模型包括人脸区域分割模块和特征提取模块；

所述人脸区域分割模块用于从输入图像中分割出人脸区域；

所述特征提取模块用于从所述人脸区域提取人脸特征向量。

5.如权利要求4所述的基于弱监督学习的三维人脸重建模型建立方法，其特征在于，所述特征提取模块为预训练好的FaceNet模型去掉Flatten层之后的结构后得到的模型。

6.如权利要求1或2所述的基于弱监督学习的三维人脸重建模型建立方法，其特征在于，训练过程中，利用可微渲染器将所述弱监督学习模型输出的三维人脸模型渲染为二维人脸图像。

7.如权利要求6所述的基于弱监督学习的三维人脸重建模型建立方法，其特征在于，所述可微渲染器为SoftRas。

8.一种三维人脸重建方法，其特征在于，包括：

将含人脸的图像输入由权利要求1～7任一项所述的基于弱监督学习的三维人脸重建模型建立方法所建立的三维人脸重建模型，以重建对应的三维人脸模型。

9.如权利要求8所述的三维人脸重建方法，其特征在于，用于中医面诊。

10.一种计算机可读存储介质，其特征在于，包括存储的计算机程序，所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1～7任一项所述的基于弱监督学习的三维人脸重建模型建立方法，和/或权利要求8～9任一项所述的三维人脸重建方法。