[发明专利]高精度三维人脸重建方法

权利要求书

1.一种高精度三维人脸重建方法，其特征在于，包括：

对于真实采集的点光源人脸图像数据集合，拟合参数化模型系数，并计算点光源的位置和强度，从而计算出三维人脸模型的法向与反射率，得到真实人脸数据库R；

利用公开数据集LightStage中的反射率和三维模型合成不同光照条件下的人脸图像，并结合真实人脸数据库R进行数据增强，从而得到合成人脸数据库S；

利用真实人脸数据库R和合成人脸数据库S训练深度神经网络模型；

对输入的任意点光源下的人脸图像，利用训练好的深度神经网络模型估计对应的参数化模型系数以及三维人脸模型的法向，从而重建出三维人脸模型；

其中，所述真实采集的点光源人脸图像数据集合包括了不同种族、不同年龄和不同性别的人在多个不同光照条件下采集所得人脸图像；

对于同一个人同一表情的多个不同光照条件下的人脸图像，拟合出参数化模型系数，包括：身份系数、表情系数和姿态系数；

将参数化模型系数作为人脸先验知识，利用点光源下的光度立体技术计算点光源的位置和强度，结合成像公式与设定的目标函数来计算并更新三维人脸模型的法向与反射率；

利用最终更新的三维人脸模型的法向、以及参数化模型系数，重建出三维人脸模型；

所述真实人脸数据库R包括：若干彩色点光源人脸图像以及对应的标签；每一张彩色点光源人脸图像均为RGB三通道图像；标签分为两部分：一部分是参数化模型系数；另一部分为光源的位置和强度、三维人脸模型的法向与反射率；

所述利用公开数据集LightStage中的反射率和三维模型合成不同光照条件下的人脸图像，并结合真实人脸数据库R进行数据增强，从而得到合成人脸数据库S，其包括：

首先，利用公开数据集LightStage中的反射率和三维模型，在随机点光源的光照条件下合成人脸图像；

然后，进行数据增强：通过随机生成参数化模型系数生成带纹理的三维模型，并合成人脸图像，以及通过随机生成参数化模型系数生成不带纹理的三维模型，并将真实人脸数据库R中的反射率迁移到不带纹理的三维模型上，再合成人脸图像；以及将参数化模型注册到公开数据集LightStage中的三维模型上，并将真实人脸数据库R中的反射率迁移到注册后的三维模型上，再合成人脸图像；

通过以上过程，得到合成人脸数据库S。

2.根据权利要求1所述的一种高精度三维人脸重建方法，其特征在于，所述合成人脸数据库S中包括：若干彩色点光源人脸图像以及对应的标签；彩色点光源人脸图像也即合成人脸图像，每一张彩色点光源人脸图像均为RGB三通道图像；标签分为两部分：一部分是参数化模型系数；另一部分为三维模型的法向。

3.根据权利要求1所述的一种高精度三维人脸重建方法，其特征在于，所述深度神经网络模型包括：代理估计网络ProxyNet、以及法向估计网络NormalNet；

ProxyNet的输入为人脸图像，输出为参数化模型系数；NormalNet的输入为人脸图像以及ProxyNet输出的参数化模型系数，输出为法向。

4.根据权利要求3所述的一种高精度三维人脸重建方法，其特征在于，ProxyNet为残差卷积神经网络模型，依次包括：输入层、卷积层、非线性层、池化层、全连接层和损失层。

5.根据权利要求3所述的一种高精度三维人脸重建方法，其特征在于，NormalNet为全卷积神经网络模型，依次包括：输入层、卷积层、非线性层、池化层、去卷积层、融合层和损失层。

6.根据权利要求3所述的一种高精度三维人脸重建方法，其特征在于，该方法还包括：

将真实采集的点光源人脸图像数据集合中的人脸图像输入至训练好的深度神经网络模型，利用深度神经网络模型输出的参数化模型系数以及三维人脸模型的法向，重建出三维人脸模型A'；

同时，利用真实人脸数据库R中相应的参数化模型系数与三维人脸模型的法向重建三维人脸模型A，将三维人脸模型A作为参照对三维人脸模型A'对进行精度评估。