[发明专利]一种基于级联回归网络的单张图片三维人脸重建方法

摘要

本发明公开了一种基于级联回归网络的单张图片三维人脸重建方法，整体步骤为：一、数据准备：采集三维人脸数据，获取人脸图片的三维人脸形状点云；二、模型设计：构建包含两级多任务卷积神经网络的网络模型，并逐级回归人脸特征，然后提取改进形状特征；三、模型训练：分别对两级多任务卷积神经网络进行训练，获得多任务级联回归卷积神经网络M；四、模型测试：将图像I输入到多任务级联回归卷积神经网络M中，进行模型测试。本发明采用多任务级联回归卷积神经网络，逐级回归三维人脸形状、人脸特征点以及人脸姿态，同时改进了传统的特征提取方法，通过计算特征点的可见性，消除了二维人脸图片上特征点的混淆性，使得该方法对大姿态更加鲁棒。

主权项

1.一种基于级联回归网络的单张图片三维人脸重建方法，其特征在于：所述方法的整体步骤如下：步骤一、数据准备：a、用3D扫描仪采集三维人脸数据，包括每个视角的二维人脸图片、每个视角的人脸姿态、三维人脸形状点云、68个特征点标注以及点云的三角关系；b、将采集得到的人脸图片做人脸检测，裁剪人脸图片，同时根据人脸姿态对三维人脸形状点云做处理，得到对应于裁剪后人脸图片的三维人脸形状点云；步骤二、模型设计：a、构建包含两级多任务卷积神经网络的网络模型，并逐级回归三维人脸形状、人脸姿态以及人脸特征点；b、向第一级网络输入一张100*100*3的人脸图片，同时回归预测三维人脸全部点的三维坐标、人脸68个特征点的三维坐标以及人脸姿态；c、提取改进形状特征；d、向第二级网络输入一张100*100*3的人脸图片，以及上一步提取的改进形状特征，回归三维人脸全部点的三维坐标残差、人脸68个特征点的三维坐标残差以及人脸姿态残差；步骤三、模型训练：a、训练第一级网络：向第一级网络输入一张100*100*3的人脸图片，和对应的三维人脸全部点的三维坐标、人脸68个特征点的三维坐标以及人脸姿态，计算欧氏距离损失，利用批次随机梯度下降方法更新网络参数；b、当第一级网络模型在校验集上获得较好的三维人脸重建精度并且该精度不能随着训练过程再提升时，停止训练；然后提取训练集二维人脸图片的改进形状特征；c、训练第二级网络：向第二级网络输入一张100*100*3的人脸图片以及对应的改进形状特征，和根据第一级预测结果得到的三维人脸全部点的三维坐标残差、人脸68个特征点的三维坐标残差、人脸姿态残差，计算欧式距离损失，利用批次随机梯度下降方法更新网络参数；d、当第二级网络模型在校验集上获得较好的三维人脸重建精度并且该精度不能随着训练过程再提升时，停止训练；e、最终训练完成获得多任务级联回归卷积神经网络M；步骤四、模型测试：a、输入图像为包含人脸的图像I；b、将图像I输入人脸检测器并获得人脸位置，并利用该人脸位置裁剪图像I获得人脸图像Img；c、将图像Img输入到多任务级联回归卷积神经网络M中，获得三维人脸形状、人脸特征点以及人脸姿态；d、根据计算得到的三维人脸形状以及三维点云的三角关系，用OpenGL渲染并显示三维人脸结构。