[发明专利]多分支深度学习的3D人脸重建模型训练方法、系统及介质

说明书

本发明公开了一种多分支深度学习的3D人脸重建模型训练方法、系统及介质，方法包括：将第一人脸图像输入到人脸识别网络和人脸对齐网络得到第一身份信息和第一关键点位置信息；根据第一身份信息确定第一人脸几何形状信息，并将第一身份信息和第一关键点位置信息输入到表情识别网络中，得到第一人脸表情信息；将第一关键点位置信息、第一人脸几何形状信息以及第一人脸表情信息输入到生成对抗网络中，得到第一渲染图像；根据第一渲染图像更新人脸识别网络、人脸对齐网络、表情识别网络以及生成对抗网络的网络参数，得到最优参数组合。本发明提高了生成的3D人脸图像的真实性和准确性，可广泛应用于计算机视觉技术领域。

技术领域

本发明涉及计算机视觉技术领域，尤其是一种多分支深度学习的3D人脸重建模型训练方法、系统及介质。

背景技术

人脸3D重建技术作为计算机视觉、机器学习等交叉领域的核心研究课题之一，近年来被广泛地应用在人机交互、游戏、动画等领域。人脸3D重建是指通过人脸的2D图像还原成人脸的3D信息，包括人脸的纹理信息、光照反射信息、表情信息、几何形状信息等。传统的3D人脸生成是由昂贵的捕捉系统或专业人员完成的，随着计算机计算能力的提高，算法生成的3D人脸越来越逼真，而成本相对传统方法较低廉，因此受到了许多研究者的关注。

从2D人脸图像到3D人脸的重建的过程是一个不确定的问题，因为同一个3D人脸模型可以生成多张2D图像，很难确定哪一张对应真实的3D人脸，而成功的关键是添加先验知识来消除具有歧义的解决方案。一般来说，人脸3D重建方法可分为三种：基于统计学的方法，基于光度测量的方法和基于深度学习的方法。基于统计学的方法将先验知识编码在一个3D人脸模型中，最经典的是三维可变形模型(3D Morphable Models，3DMM)。3DMM生成3D人脸的过程即求解一组线性参数的过程，它由形状模型和可选的纹理和颜色模型等组成，分别通过主成分分析法(Principal Component Analysis，PCA)求得平均3D人脸形状等信息，然后对参数优化，生成与输入的2D人脸图像相对应的3D人脸。基于光度测量的方法，将3D人脸模型与光度立体视觉方法相结合来估计人脸表面法线。这种策略是基于人脸表面的反射率建模，会影响人脸重建后的质量，且原始数据使用来自多个图像的信息，会进一步造成解决方案的歧义，所以并没有其它两种方法应用广泛。基于深度学习的方法，通过从大量原始数据的训练中学习先验知识，即直接学习2D图像和3D人脸之间的映射，然后输出高质量的3D人脸信息。该方法的出现使得人脸3D重建技术得到了巨大的发展。

目前，基于深度学习的方法按神经网络架构的不同可分为4种类别：基于卷积神经网络的人脸3D重建算法、基于自编码器的人脸3D重建算法、基于图卷积网络的人脸3D重建算法和基于生成对抗网络(Generative Adversarial Network,GAN)的人脸3D重建算法。其中，GAN被证明在2D人脸图像上进行训练时，可以生成具有真实特征的图像，得到照片般逼真的高分辨率人脸，也有越来越多的GAN算法尝试生成用于3D人脸的纹理贴图。

然而，生成一个具有真实纹理的高保真3D人脸仍具有技术难度。皱纹等几何结构细节是年龄和面部表情的重要指标，对于生成真实的虚拟人至关重要。3DMM算法中使用PCA处理模型尽管有其优势，但受到线性空间容量的限制，无法充分表示高频信息，通常会导致纹理模型过于平滑，以致面部纹理失真；而现有的部分算法通过直接对输入图像进行超分辨率处理，以期得到高分辨率的纹理贴图，但这种方法对输入图像的质量要求很高，也不符合现实情况，即不适应于普通设备获取的非高清图像；有部分算法通过用大量高质量的UV数据作为训练集训练GAN，效果虽然很好，可是算法过分依赖于训练数据。

此外，纹理、几何形状与表情应该具有潜在的关联信息，如果分别独立训练各模型参数，有可能会导致渲染后的图像失去真实感，因此，有的算法直接通过网络训练出所有的参数，并直接在UV空间中完成数据对齐，不需要再额外的转换成3DMM参数形式，但这种方法并不能做到各方面参数都训练得很完美，且模型相对来说较复杂。当输入为视频帧的连续序列时，现有算法很少有预防遮挡的措施，因此对于遮挡情况的鲁棒性不好。

发明内容