[发明专利]一种基于自监督学习的三维人脸模型重建方法及系统

权利要求书

1.一种基于自监督学习的三维人脸模型重建方法，其特征在于，包括：

基于单张人脸图片，利用训练好的编码神经网络预测粗糙三维人脸模型参数；

基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型；

将所述粗糙三维人脸模型进行UV展开并进行渲染，得到第一渲染图像；

将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染，得到第二渲染图像；

基于所述第一渲染图像和所述第二渲染图像，利用训练好的置换贴图预测神经网络预测深度方向置换贴图；

将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上，得到重建的三维人脸模型。

2.根据权利要求1所述的基于自监督学习的三维人脸模型重建方法，其特征在于，编码神经网络的训练过程包括：

对所述单张人脸图像进行预处理，得到二维人脸关键点以及人脸皮肤掩膜；

通过所述单张人脸图像、所述二维人脸关键点以及所述人脸皮肤掩膜对编码神经网络进行迭代训练，使所述编码神经网络的损失函数达到最小。

3.根据权利要求2所述的基于自监督学习的三维人脸模型重建方法，其特征在于，所述编码神经网络的损失函数包括第一图像重建损失函数、人脸关键点损失函数、第一感知损失函数以及第一正则项损失函数。

4.根据权利要求1所述的基于自监督学习的三维人脸模型重建方法，其特征在于，所述置换贴图预测神经网络的训练过程包括：

通过所述第一渲染图像和所述第二渲染图像对置换贴图预测神经网络进行迭代训练，使所述置换贴图预测神经网络的损失函数达到最小。

5.根据权利要求4所述的基于自监督学习的三维人脸模型重建方法，其特征在于，所述置换贴图预测神经网络的损失函数包括第二图像重建损失函数、第二感知损失函数、邻域平滑约束以及第二正则项损失函数。

6.一种基于自监督学习的三维人脸模型重建系统，其特征在于，包括：

粗糙三维人脸模型参数预测模块，用于基于单张人脸图片，利用训练好的编码神经网络预测粗糙三维人脸模型参数；

粗糙三维人脸模型构建模块，用于基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型；

第一渲染图像确定模块，用于将所述粗糙三维人脸模型进行UV展开并进行渲染，得到第一渲染图像；

第二渲染图像确定模块，用于将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染，得到第二渲染图像；

深度方向置换贴图预测模块，用于基于所述第一渲染图像和所述第二渲染图像，利用训练好的置换贴图预测神经网络预测深度方向置换贴图；

三维人脸模型重建模块，用于将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上，得到重建的三维人脸模型。

7.根据权利要求6所述的基于自监督学习的三维人脸模型重建系统，其特征在于，还包括：

预处理模块，用于对所述单张人脸图像进行预处理，得到二维人脸关键点以及人脸皮肤掩膜；

第一训练模块，用于通过所述单张人脸图像、所述二维人脸关键点以及所述人脸皮肤掩膜对编码神经网络进行迭代训练，使所述编码神经网络的损失函数达到最小。

8.根据权利要求7所述的基于自监督学习的三维人脸模型重建系统，其特征在于，所述编码神经网络的损失函数包括第一图像重建损失函数、人脸关键点损失函数、第一感知损失函数以及第一正则项损失函数。

9.根据权利要求6所述的基于自监督学习的三维人脸模型重建系统，其特征在于，还包括：

第二训练模块，用于通过所述第一渲染图像和所述第二渲染图像对置换贴图预测神经网络进行迭代训练，使所述置换贴图预测神经网络的损失函数达到最小。

10.根据权利要求9所述的基于自监督学习的三维人脸模型重建系统，其特征在于，所述置换贴图预测神经网络的损失函数包括第二图像重建损失函数、第二感知损失函数、邻域平滑约束以及第二正则项损失函数。