[发明专利]基于单帧图像的三维人脸重建方法、装置、设备及介质

权利要求书

1.一种基于单帧图像的三维人脸重建方法，其特征在于，包括：

获取二维人脸图像；

将所述二维人脸图像输入预设三维人脸模型中进行正映射，得到与所述二维人脸图像对应的人脸法向量映射图和人脸纹理映射图；

将所述人脸法向量映射图和所述人脸纹理映射图输入至人脸表观属性分解网络中，得到与所述二维人脸图像对应的人脸表观属性分解结果；

将所述人脸表观属性分解结果输入所述预设三维人脸模型中进行反映射，得到反映射结果；

根据所述反映射结果重建三维人脸图像；

所述人脸表观属性分解网络包括：反照率估计子网络、光照估计子网络以及法向量优化子网络；

所述人脸表观属性分解结果包括：完整反照率映射图、优化后法向量映射图、中低频光照系数以及高频光照系数；

将所述人脸法向量映射图和所述人脸纹理映射图输入至人脸表观属性分解网络中，得到与所述二维人脸图像对应的人脸表观属性分解结果，包括：

将所述人脸法向量映射图输入训练好的法向量优化子网络进行优化，得到优化后法向量映射图；

将所述人脸法向量映射图和所述人脸纹理映射图输入训练好的光照估计子网络，得到其输出的中低频光照系数以及高频光照系数；

将所述人脸纹理映射图输入至训练好的反照率估计子网络，得到其输出的完整反照率映射图；

其中，完整反照率映射图和优化后法向量映射图均为三维点到二维点的平面映射，所述法向量优化子网络和所述反照率估计子网络均使用三维空间到二维空间的关系映射来对人脸遮挡部分进行建模，并通过训练生成对抗网络来对人脸缺失部分进行恢复。

2.根据权利要求1所述的方法，其特征在于，所述预设三维人脸模型采用三维可形变模型3DMM。

3.根据权利要求1所述的方法，其特征在于，所述将所述人脸表观属性分解结果输入所述预设三维人脸模型中进行反映射，得到反映射结果，包括：

将所述中低频光照系数以及高频光照系数输入预设渲染模型中进行渲染，得到漫反射渲染以及镜面反射渲染；

将所述完整反照率映射图、优化后法向量映射图、漫反射渲染以及镜面反射渲染输入所述预设三维人脸模型中进行反映射，得到所述二维人脸图像对应的反照率、漫反射、高光以及法向量。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述人脸表观属性分解网络的各子网络对应的训练样本；

根据所述反照率估计子网络对应的训练样本，采用生成对抗网络和反照率参照库对反照率估计子网络进行训练，得到所述反照率估计子网络的参数，所述反照率参照库中包括反照率参照样本；

根据所述光照估计子网络对应的训练样本，对光照估计子网络进行训练，得到所述光照估计子网络的参数；

根据所述法向量优化子网络对应的训练样本，采用法向量参照库对法向量优化子网络进行训练，得到所述法向量优化子网络的参数，所述法向量参照库中包括法向量参照样本。