[发明专利]一种基于单张人脸图片的三维人脸重建方法和系统

说明书

本发明公开一种基于单张人脸图片的三维人脸重建方法和系统，属于计算机视觉与曲面重建技术领域。针对现有技术中存在的点云重建出的模型较为粗糙，像素层面信息建立的损失函数会导致卷积神经网络模型陷入局部次优解，人脸角度较大的图片上进行三维人脸重建效果不够鲁棒的问题，本发明中人脸图片通过回归模块回归三维人脸参数，通过深度人脸特征提取模块提取人脸图片在深度卷积层上的特征，所述深度人脸特征提取模块在深层特征空间建立损失函数，优化卷积神经网络模型。本发明充分利用输入人脸图片和渲染人脸图片在深层特征空间的对应关系，训练端到端的三维人脸重建回归网络，提高三维人脸重建的质量，使计算结果更加准确。

技术领域

本发明涉及计算机视觉与曲面重建技术领域，更具体地说，涉及一种基于单张人脸图片的三维人脸重建方法和系统。

背景技术

在卷积神经网络(Convolutional Neural Networks,CNNs)出现之后，基于卷积神经网络的方法在三维人脸重建方面取得了显著的成功，这些方法通常使用卷积神经网络来预测三维形变模型(3D Morphable Model,3DMM)的系数。

三维形变模型采用网格模型，和点云模型相比，网格模型拥有更好的人脸先验拓扑关系，显著提高了三维人脸重建的质量和效率。基于卷积神经网络的方法通常需要大量的数据集。这些数据集采集往往代价较高，甚至在很多场景下无法实现。最近一些方法使用合成数据进行训练，也有例如300W-LP这样的公开合成人脸数据集。但是通过合成方法生成的人脸图片通常与真实图片之间存在一定的差距，它们在表情、光照、背景方面缺乏多样性，这往往导致训练好的卷积神经网络模型泛化性能较差。

为了解决三维人脸重建数据集缺失的问题，一些最近工作使用弱监督学习的方法。这些方法仅需要二维人脸图片以及其对应的二维人脸特征点。使用此方法，经过训练的三维人脸重建模型可以很好地进行三维人脸重建以及密集三维人脸对齐。现阶段很容易获得带有二维人脸特征点的人脸图片数据集，因此可以建立大量训练集以满足卷积神经网络的需要。此外，这些二维人脸特征点也可以提供很有价值的人脸信息。目前使用弱监督的三维人脸重建方法的关键是使用一种可微分渲染器将重建好的三维人脸渲染到像素层面，并且比较该渲染后图片与输入图片之间的差异。例如Tewari等人在‘Self-supervisedmulti-level face model learning for monocular reconstruction at over 250Hz’(《超250赫兹单目重建的自我监督多层次人脸模型学习》)和‘Mofa:Model-based deepconvolutional face autoencoder for unsupervised monocular reconstruction’(《Mofa：用于无监督单目重建的基于模型的深度卷积人脸自动编码器》)论文中使用渲染后图片与输入图片在像素颜色之间的差异建立损失函数；Genova等人在‘Unsupervisedtraining for 3d morphable model regression’(《三维形变模型回归的无监督训练》)论文中使用人脸识别网络来建立渲染后图片与输入图片之间的损失。

现有技术中由于点云数据缺乏点与点之间的拓扑关系，通过点云进行三维人脸重建的方法计算量大，重建出的模型较为粗糙。仅使用像素层面的信息建立损失函数，往往会导致卷积神经网络模型陷入局部次优解，且在人脸角度较大的图片上进行三维人脸重建效果不够鲁棒，三维人脸重建质量不高。

发明内容

针对现有技术中存在的点云重建出的模型较为粗糙，像素层面信息建立的损失函数会导致卷积神经网络模型陷入局部次优解，人脸角度较大的图片上进行三维人脸重建效果不够鲁棒的问题，本发明提供一种基于单张人脸图片的三维人脸重建方法和系统，它可以实现充分利用输入人脸图片和渲染人脸图片在深层特征空间的对应关系，训练端到端的三维人脸重建回归网络，提高三维人脸重建的质量，使计算结果更加准确，且只需用单张人脸图片作为网络输入，成本低。本发明的目的通过以下技术方案实现。