[发明专利]一种基于神经网络的端到端的三维人脸重建方法

权利要求书

1.一种基于神经网络的端到端的三维人脸重建方法，其特征在于包括如下步骤：

步骤1：采集带有人脸的图片数据集，并获得该图片数据集对应的参数真值；

步骤2：处理获得的图片数据集，对带有人脸的区域进行旋转或缩放操作对其进行数据增强，直至每个人包含90张不同姿态的图片，并将图片统一裁剪与缩放为120×120像素大小，将处理后的图片数据集按一定比例分成训练集和验证集；

步骤3：建立一种基于VGG-Face的带有融合神经网络的多任务回归网络模型；

步骤4：将步骤2所述的训练集输入到建立的卷积神经网络中，对神经网络进行训练，得到神经网络的所有权值；

步骤5：将步骤4得到的权值代入训练好的多任务回归网络模型中，并输入验证集，得到验证集对应的特征参数的回归值，并对重建精确度进行评估；

步骤6：将人脸图片输入到步骤4得到神经网络中得到特征参数，把其输入到3DMM三维形变模型中，得到最终的三维人脸。

2.根据权利要求1所述的一种基于神经网络的端到端的三维人脸重建方法，其特征在于所述步骤3的过程如下：

步骤3.1：根据三维形变模型3DMM来确定重建模型和卷积神经网络需要回归的参数；

步骤3.2：考虑权重距离损失与顶点距离损失，根据估计的3DMM中各参数的重要性，确定神经网络的损失函数；

步骤3.3：对VGG-Face模型进行改进，确定神经网络结构。

3.根据权利要求2所述的一种基于神经网络的端到端的三维人脸重建方法，其特征在于所述步骤3.1的过程如下：

步骤3.1.1：采用经典的三维形变模型3DMM来表示三维人脸，其渲染的3D人脸形状它在一组PCA基上以线性组合的方式存储N个网格顶点的三维坐标，因此，3D人脸形状可以被表示为：

其中，S代表三维人脸，代表平均人脸，是3d人脸扫描与中性表情人脸偏差的形状主成分，是形状参数，是由扫描表情和中性表情之间的偏差训练的表情主成分，是表情参数，根据公开的人脸3DMM模型数据库Basel Face Model，可以得到公开的A_id，A_exp的参数值，所以重建三维面部点云的未知参数只有α_id，α_exp；

步骤3.1.2：用弱透视投影的方法将三维模型投影到二维图像平面上，从指定的视点生成二维人脸：

V(p)＝f×Pr×R×S+t_2d

其中，V是模型构造和投影函数，得到模型二维顶点的位置，f为缩放系数，Pr为正交投影矩阵R为旋转角度构成的旋转矩阵包括pitch,yaw,roll三个角度，t_2d为平移向量；弱透视投影中的未知参数为f、R(pitch,yaw,roll)包含三种角度、S和t_2d；

步骤3.1.3：确定模型需要收集的所有参数p＝[f,pitch,yaw,roll,t_2d,α_id,α_exp]^T，一共有234个系数需要回归。