[发明专利]一种基于深度神经网络的端到端三维人脸重建方法

权利要求书

1.一种基于深度神经网络的端到端三维人脸重建方法，其特征在于，主要包括3D面部形状子空间模型(一)；深度神经网络(DNN)架构(二)；端到端训练(三)。

2.基于权利要求书1所述的3D脸部重建，其特征在于，可分为两个子任务，即重建3D面部形状和重建面部表情，并结合多任务学习损失函数训练不同的层次，分别预测身份和表达参数。

3.基于权利要求书1所述的3D面部形状子空间模型(一)，其特征在于，采用3D面部形状子空间模型，并将3D面部作为一组形状和混合形状基线的线性组合：

S=S‾+Ud·αd+Ue·αe---(1)]]>

其中，S是目标3D面部，是平均面部形状，U_d是在3D面部扫描中训练的主要成分α_d是身份参数向量，U_e是偏移训练的主要组成部分α_e是表达式参数向量；给定2D面部图像，目标是预测最佳身份和表达参数，最小化重建的3D面部和标定的真实数据之间的差异。

4.基于权利要求书1所述的深度神经网络(DNN)架构(二)，其特征在于，基于VGG网络的脸部模型由13个卷积层和5个池层组成，并且添加了两个关键组件：子卷积神经网络(融合CNN)，融合了基于VGG网络的脸部模型中间层的特征，用于回归表达参数，以及用于身份参数预测和表达参数预测的多任务学习损失函数。

5.基于权利要求书4所述的两个关键组件，其特征在于，通过多任务损失函数，3D脸部重建被分为中性3D面部形状重建和表达3D面部形状重建；使用融合CNN，融合和变换不同中间层的特征，以预测3D面部形状。

6.基于权利要求书4所述的训练神经层，其特征在于，通过这两个组件，可以在单个DNN架构中训练三种类型的神经层；第一种类型的神经层包括第四池层以下的部分，其学习对应于低级面部结构(例如边缘和角落)的通用特征；这些层由两个任务共享；第二类神经层包括融合CNN中的三个卷积层和以下完全连接的层；这些层将学习表达特征；第三类型的神经层包括在第四池层以上的部分，其学习更适合于预测身份参数的类别特征。

7.基于权利要求书4所述的卷积神经网络，其特征在于，网络的输入是裁剪的RGB图像并缩放到180×180像素；为了融合第4层和第5层的中间特征，将Conv6和Conv7层的内核大小和步长分别设置为{5×5,2}和{1×1,1}；在连接Conv6和Conv7的特征后，添加另外1×1个内核卷积层Conv8以减少特征维度。

8.基于权利要求书1所述的端到端训练(三)，其特征在于，深度神经网络的输入是一个二维图像，面部感兴趣区域(ROI)由面部检测器定位；首先将检测到的面部包围盒放大到原始尺寸的0.25倍，然后将较短的边缘延伸，以裁剪面部ROI的平方图像，其尺寸为180×180；深度神经网络的输出由身份参数向量和表达式参数向量组成；它们用于使用公式(1)重建与输入的2D图像相对应的3D面部形状。

9.基于权利要求书8所述的训练数据，其特征在于，使用真实2D图像和合成2D图像来训练深度神经网络；真实2D图像用于初始化深度神经网络，合成2D图像用于微调；对于每个3D面部，合成25张具有不同面部姿势、照明和面部表情的图像。

10.基于权利要求书8所述的成本函数，其特征在于，选择训练成本作为预测的3D面和标定的真实数据的差异；为了测量这个差异，使用所有3D顶点的平方误差之和：

EC=||Uc·α^c-Uc·αc||22---(2)]]> 1

其中，c∈{e,d}，表示预测参数向量，α_c表示标定的真实数据；

总损失函数计算为两个损失函数的加权和：

E＝λ_dE_d+λ_eE_eE_e(3)

其中，λ_d和λ_e是两个单独损失函数的权重。