[发明专利]一种基于深度学习的多视点人脸三维模型重建的方法

说明书

本发明公开了一种基于深度学习的多视点人脸三维模型重建的方法，属于计算机视觉领域。该方法包括：多光照多视点虚拟人脸图像生成；人脸正视图的深度图生成；多个独立并行的卷积神经网络训练；各视角权重分布的神经网络训练；将网络输出的深度图恢复出人脸三维网格模型并进行顶点着色。本发明的方法通过将多视点图像分别进行独立训练恢复出深度图，再训练出各视角权重分布图继而进行深度融合，在保证效率的前提下提高了人脸三维重建模型的精度。

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于深度学习的多视点人脸三维模型重建的方法。

背景技术

人脸三维模型在安全认证、影视动漫、医学科学等领域的应用非常广泛。然而获取真实详细的脸部信息成本非常昂贵,例如利用三维激光扫描仪。而利用多视图基于深度学习进行人脸三维模型重建则有速度快、成本低等优势。已提出的基于图像的人脸三维重建算法大体可以分为两大类：

第一类方法是基于多视点的人脸三维重建。通常是采用传统的方法，先获取人脸多视角图片，然后使用运动恢复结构算法(Structure From Motion)进行相机参数标定，再进行立体匹配(Stereo Matching)，输出目标物的深度图，或是粗糙的点云信息，将这些不同图像对所对应的点云信息整合到一起，提纯得到一个精度较高的目标物的立体点云信息，之后，通过泊松表面重建(Poisson Surface Reconstruction)获得人脸三角网格模型。最近，Pengfei Dou和Ioannis A.Kakadiaris(Dou P,Kakadiaris I A.Multi-view 3Dface reconstruction with deep recurrent neural networks[C]//Biometrics(IJCB),2017IEEE International Joint Conference on.IEEE,2017:483-492)提出了新的基于神经网络的多视点人脸三维重建方法，针对多视点数据，先由深度卷积神经网络分别基于单张人脸图片提取人脸本征参数及表情参数，再使用循环神经网络聚合分析一系列经过上一步得到的信息，得到最终的人脸3DMM(3D Morphable Model)参数，再恢复出人脸三维模型。

第二类方法是基于单视点的人脸三维重建。传统方法通常有(1)采用阴影恢复形状(Sh ape-from-Shading，SFS)方法或光度立体(Photometric stereo)方法根据单个视图的彩色图像重建三维模型。由不同光照下的相同视角人脸图像信息计算出由表面法向量，再恢复出三维表面信息。该方法依赖于光照条件和光照模型的先验知识，而且它更适合重建人脸表面细节，对人头部整体的三维重建精度不高；(2)Feng Liu、Dan Zeng和QijunZhao(Liu F,Zeng D,Zhao Q,et al.Joint face alignment and 3d facereconstruction[C]//European Conference on Computer Vision.Springer,Cham,2016:545-560)提出了在回归框架下的人脸对齐和三维重建，该方法在给定输入二维人脸图像上的特征点的条件下，实时重建其三维模型的方法。利用两组级联的线性回归，一组用来更新2D特征点，另一组用来更新3D人脸形状。在每一次迭代中，先用SDM(SupervisedDescentMethod)方法得到特征点更新量，再用特征点的更新量去估计出3D人脸形状的更新量。新的3D人脸一旦更新就可以粗略地计算出3D-to-2D投影矩阵，同时再利用3D人脸对特征点进行修正，最终得到经过不断修正后的人脸三维模型。