[发明专利]一种基于单张人脸图片的三维人脸重建系统

权利要求书

1.一种基于单张人脸图片的三维人脸重建系统，其特征在于，包括检测模块、回归模块和深度人脸特征提取模块，人脸图片先通过检测模块进行人脸检测和特征点检测，然后通过回归模块回归三维人脸参数，训练时通过深度人脸特征提取模块提取的人脸图片在深度卷积层上的特征改进回归模块的重建效果。

2.根据权利要求1所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，所述深度人脸特征提取模块采用深度人脸特征模型，将输入人脸图片和三维人脸模型渲染得到的图片同时输入到深度人脸特征模型中，在深层特征空间建立损失函数，优化卷积神经网络模型。

3.根据权利要求2所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，所述损失函数为：

L_loss(x)＝ω_landL_land(x)+ω_photoL_photo(x)+ω_dffL_dff(x)+ω_regL_reg(x)，

其中，x表示三维人脸参数，L_land(x)为特征点对齐的损失函数，L_photo(x)为像素之间差异的损失函数，L_dff(x)为深度人脸特征(DFF)模型在深层特征空间建立的损失函数，L_reg(x)为正则化项，ω_land、ω_photo、ω_dff和ω_reg均为损失函数的权重系数。

4.根据权利要求3所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，深度人脸特征模型在深层特征空间建立的损失函数为其中i包括1至68的自然数，表示人脸特征点，和分别为人脸特征点在特征图D和特征图D’中对应的特征向量，f_i∈{0，1}为人脸特征点的可见性权重。

5.根据权利要求4所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，人脸特征点可见时可见性权重f_i＝1，人脸特征点不可见时可见性权重f_i＝0。

6.根据权利要求3所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，损失函数的权重系数中，ω_land＝400、ω_photo＝100、ω_dff＝10^-6以及ω_reg＝1。

7.根据权利要求2所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，深度人脸特征提取模块使用全透视投影经过一个可微分的渲染器将重建出的三维人脸模型渲染到二维平面上。

8.根据权利要求1所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，所述回归模块采用VGG-16卷积神经网络回归出人脸图片对应的三维人脸参数。

9.根据权利要求8所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，所述三维人脸参数包括三维形变模型形状参数、三维形变模型纹理参数、三维形变模型表情参数、相机旋转参数、相机平移参数和球谐光照系数。

10.根据权利要求1所述的一种基于单张人脸图片的三维人脸重建系统，其特征在于，所述检测模块采用Dlib作为人脸检测算法，使用2D-to-3D-FAN(二维至三维人脸对齐网络，2D-to-3D Face Alignment Network)进行特征点检测。