[发明专利]基于单帧图像的三维人脸重建方法、装置、设备及介质

说明书

本申请公开了一种基于单帧图像的三维人脸重建方法、装置、设备及存储介质，获取二维人脸图像，将二维人脸图像输入预设三维人脸模型中进行正映射，得到与二维人脸图像对应的人脸法向量映射图和人脸纹理映射图，将人脸法向量映射图和人脸纹理映射图输入至人脸表观属性分解网络中，得到与二维人脸图像对应的人脸表观属性分解结果，将人脸表观属性分解结果输入预设三维人脸模型中进行反映射，得到反映射结果，根据反映射结果重建三维人脸图像，基于上述方案可以得到完整的人脸三维模型以及准确分离出的完整人脸表观属性，从而提高了人脸建模结果的准确性。

技术领域

本申请涉及图形图像处理领域，特别涉及一种基于单帧图像的三维人脸重建方法、装置、设备及介质。

背景技术

随着近年来智能手机和移动计算设备的普及，为传统的社交模式带来了新的变革。人们之间交流的信息已经从过去的文字信息慢慢过渡为语音、图片、乃至是视频。

随着目前基于单帧图像的三维人脸重建技术的普及，更多的应用随之而来，例如游戏虚拟人物捏脸，虚拟换妆，高光剔除，艺术光照环境替换等。为了使人脸建模更加逼真且可以进行精准的编辑，需要对人脸反照率、人脸形状和拍摄图片的环境光照信息进行建模。在人脸上编辑新的属性一般需要将图片原有的光照属性剔除，得到人脸真实肤色，在此基础上，再对人脸进行化妆打光等操作。然而，由于真实人脸图片的光照环境千变万化，人脸的肤色也各不相同，使得人脸分解的任务变得困难重重。近来，越来越多的研究员和工程师开始使用数据驱动的方式来解决人脸重建问题，对比已有的传统算法，数据驱动的方式不需要大量的人脸先验假设，仅需设计好网络模型与数据组成即可得到一个有效的算法模型。

但相关技术一般是对单张图片直接操作，即在当前的二维图片空间下对每个像素点进行操作。如图1所示，输入图像经过下卷积后会分为三个分支，分别为法向量估计分支、光照估计分支和反照率估计分支，估计出的法向量变量和低频光照相互作用，得到渲染着色效果，再将其与估计出的反照率相乘，得到重建的图片。由于现有技术中存在无法分离皮肤油性导致的高光以及无法对面部有遮挡的部分进行估计，因此，导致最终的人脸建模结果并不准确。

发明内容

本申请的目的在于提供一种基于单帧图像的三维人脸重建方法、装置、设备及存储介质，以提高人脸建模结果的准确性。

第一方面，本申请实施例提供了一种基于单帧图像的三维人脸重建方法，包括：

获取二维人脸图像；

将所述二维人脸图像输入预设三维人脸模型中进行正映射，得到与所述二维人脸图像对应的人脸法向量映射图和人脸纹理映射图；

将所述人脸法向量映射图和所述人脸纹理映射图输入至人脸表观属性分解网络中，得到与所述二维人脸图像对应的人脸表观属性分解结果；

将所述人脸表观属性分解结果输入所述预设三维人脸模型中进行反映射，得到反映射结果；

根据所述反映射结果重建三维人脸图像。

在一种可能的实现方式中，所述预设三维人脸模型采用三维可形变模型3DMM。

在一种可能的实现方式中，所述人脸表观属性分解网络包括：反照率估计子网络、光照估计子网络以及法向量优化子网络。

在一种可能的实现方式中，所述人脸表观属性分解结果包括：完整反照率映射图、优化后法向量映射图、中低频光照系数以及高频光照系数；

将所述人脸法向量映射图和所述人脸纹理映射图输入至人脸表观属性分解网络中，得到与所述二维人脸图像对应的人脸表观属性分解结果，包括：

将所述人脸法向量映射图输入训练好的的法向量优化子网络进行优化，得到优化后法向量映射图；

将所述人脸法向量映射图和所述人脸纹理映射图输入训练好的的光照估计子网络，得到其输出的中低频光照系数以及高频光照系数；