[发明专利]一种基于深度神经网络的端到端三维人脸重建方法

说明书

技术领域

本发明涉及人脸重建领域，尤其是涉及了一种基于深度神经网络的端到端三维人脸重建方法。

背景技术

人脸是人类最重要的生物特征之一，反映了很多重要的生物信息，如身份、性别、种族、年龄、表情等。三维人脸重建技术有着广泛的用途和前景，一直以来都是计算机视觉和计算机图形学研究的热点和难点。人脸建模在人脸识别系统、医学、电影电视剧、广告、计算机动画、游戏、视频会议以及可视电话、人机交互等许多领域都具有广泛的应用前景。特别是在人脸识别方面，其可以应用在公共安全防范、逃犯追捕、网络安全、金融安全商场安全等诸多领域。但是，人脸建模技术存在计算成本较高的问题，面部图像中的姿态、表情和照明变化也会给识别和重建带来影响。

本发明提出了一种基于深度神经网络的端到端三维人脸重建方法，采用3D面部形状子空间模型，并将3D面部作为一组形状和混合形状基线的线性组合，基于VGG网络的脸部模型添加了子卷积神经网络(融合CNN)用于回归表达参数，以及用于身份参数预测和表达参数预测的多任务学习损失函数，端到端训练中深度神经网络的输入是一个二维图像，输出由身份参数向量和表达式参数向量组成。本发明解决面部图像中的姿态、表情和照明变化带来的影响，避免了图像采集过程中深度信息的损失；同时简化了框架，降低计算成本，提高了重建精度和识别的鲁棒性。

发明内容

针对面部图像中的姿态、表情和照明变化也会给识别和重建带来影响的问题，本发明的目的在于提供一种基于深度神经网络的端到端三维人脸重建方法，采用3D面部形状子空间模型，并将3D面部作为一组形状和混合形状基线的线性组合，基于VGG网络的脸部模型添加了子卷积神经网络(融合CNN)用于回归表达参数，以及用于身份参数预测和表达参数预测的多任务学习损失函数，端到端训练中深度神经网络的输入是一个二维图像，输出由身份参数向量和表达式参数向量组成。

为解决上述问题，本发明提供一种基于深度神经网络的端到端三维人脸重建方法，其主要内容包括：

(一)3D面部形状子空间模型；

(二)深度神经网络(DNN)架构；

(三)端到端训练。

其中，所述的3D脸部重建，可分为两个子任务，即重建3D面部形状和重建面部表情，并结合多任务学习损失函数训练不同的层次，分别预测身份和表达参数。

其中，所述的3D面部形状子空间模型，采用3D面部形状子空间模型，并将3D面部作为一组形状和混合形状基线的线性组合：

其中，S是目标3D面部，是平均面部形状，U_d是在3D面部扫描中训练的主要成分，α_d是身份参数向量，U_e是偏移训练的主要组成部分，α_e是表达式参数向量；给定2D面部图像，目标是预测最佳身份和表达参数，最小化重建的3D面部和标定的真实数据之间的差异。

其中，所述的深度神经网络(DNN)架构，基于VGG网络的脸部模型由13个卷积层和5个池层组成，并且添加了两个关键组件：子卷积神经网络(融合CNN)，融合了基于VGG网络的脸部模型中间层的特征，用于回归表达参数，以及用于身份参数预测和表达参数预测的多任务学习损失函数。

进一步地，所述的两个关键组件，通过多任务损失函数，3D脸部重建被分为中性3D面部形状重建和表达3D面部形状重建；使用融合CNN，融合和变换不同中间层的特征，以预测3D面部形状。

进一步地，所述的训练神经层，通过这两个组件，可以在单个DNN架构中训练三种类型的神经层；第一种类型的神经层包括第四池层以下的部分，其学习对应于低级面部结构(例如边缘和角落)的通用特征；这些层由两个任务共享；第二类神经层包括融合CNN中的三个卷积层和以下完全连接的层；这些层将学习表达特征；第三类型的神经层包括在第四池层以上的部分，其学习更适合于预测身份参数的类别特征。

进一步地，所述的卷积神经网络，网络的输入是裁剪的RGB图像并缩放到180×180像素；为了融合第4层和第5层的中间特征，将Conv6和Conv7层的内核大小和步长分别设置为{5×5,2}和{1×1,1}；在连接Conv6和Conv7的特征后，添加另外1×1个内核卷积层Conv8以减少特征维度。