[发明专利]一种基于神经网络的端到端的三维人脸重建方法

说明书

本发明公开一种基于神经网络的端到端的三维人脸重建方法，属于三维人脸重建技术领域。该方法将多任务损失函数和融合神经网络应用到卷积神经网络中，提升人脸表情的重建效果，同时考虑了整个重建过程的语义信息，不只是单纯的回归人脸参数，同时也考虑到了相机姿态以及重建模型对整个重建误差的影响，使整个神经网络的准确率提升。本发明公开的三维人脸重建方法不仅能从图片中重建出三维人脸形状，还能在变化的光照情况下或者带有极端表情的人脸照片都可以进行三维恢复。

技术领域

本发明涉及三维人脸重建技术领域，尤其涉及一种基于神经网络的端到端的三维人脸重建方法。

背景技术

由于三维信息是一个对视角的强不变量，所以把其应用到计算机视觉中是非常有益的。可以解决人脸图像的姿态、表情和光照变化问题。但是在这些方法中，理想情况下是用三维相机系统捕捉到三维信息，然而三维相机的高成本和有限的有效的传感范围限制了它们在实践中的适用性。所以在工业上，通过在任意光照下和任意相机参数下拍摄的照片进行人脸重建，具有普遍的意义。而且现在网络上有几乎百分之六十的图片都带有人脸图像，所以利用二维人脸图像重建出三维人脸形状的研究是非常具有广泛性的。

随着深度学习的发展，许多计算机视觉的问题，如物体检测和识别，图像分割，图像描述等问题都被卷积神经网络很好的解决了。神经网络可以学习到图像深层次的特征，所以图片中大姿态和遮挡等问题都可以通过学习得到很好的改善，因此，一些工作开始使用CNNs来估计三维形变模型(3DMM)系数或三维模型的包装函数来从单一的二维人脸图像中恢复相应的三维信息，重建出三维人脸模型。

但是现在的利用CNNs重建三维人脸的技术要么只关注参数本身的回归，没有考虑到整个参数的语义的信息，要么就是没有考虑到相机姿态以及重建模型对重建精度的影响，还有的方法需要大量的辅助工作，提升了方法的复杂程度。所以需要一种重建方法在考虑回归人脸参数的同时考虑语义信息、相机姿态以及重建模型对整个重建误差的影响，使重建的准确率提升。

发明内容

针对上述现有技术的不足，本发明提供一种基于神经网络的端到端的三维人脸重建方法。

为解决上述技术问题，本发明所采取的技术方案是：一种基于神经网络的端到端的三维人脸重建方法，其流程如图1所示，包括如下步骤：

步骤1：采集带有人脸的图片数据集，并获得该图片数据集对应的参数真值；

步骤2：处理获得的图片数据集，对带有人脸的区域进行旋转或缩放等操作对其进行数据增强，直至每个人包含大约90张不同姿态的图片，并将图片统一裁剪与缩放为120×120像素大小，将处理后的图片数据集按一定比例分成训练集和验证集；

步骤3：建立一种基于VGG-Face的带有融合神经网络的多任务回归网络模型；

步骤3.1：根据三维形变模型3DMM来确定重建模型和卷积神经网络需要回归的参数；

步骤3.1.1：采用经典的三维形变模型3DMM来表示三维人脸，其渲染的3D人脸形状它在一组PCA基上以线性组合的方式存储N个网格顶点的三维坐标，因此，3D人脸形状可以被表示为：

其中，S代表三维人脸，代表平均人脸，是3d人脸扫描与中性表情人脸偏差的形状主成分，是形状参数，是由扫描表情和中性表情之间的偏差训练的表情主成分，是表情参数，根据公开的人脸3DMM模型数据库Basel Face Model，可以得到公开的A_id，A_exp的参数值，所以重建三维面部点云的未知参数只有α_id，α_exp；

步骤3.1.2：用弱透视投影的方法将三维模型投影到二维图像平面上，从指定的视点生成二维人脸：

V(p)＝f×Pr×R×S+t_2d