[发明专利]一种基于自监督学习的三维人脸模型重建方法及系统

说明书

本发明公开了一种基于自监督学习的三维人脸模型重建方法及系统。该方法包括：基于单张人脸图片，利用训练好的编码神经网络预测粗糙三维人脸模型参数；基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型；将所述粗糙三维人脸模型进行UV展开并进行渲染，得到第一渲染图像；将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染，得到第二渲染图像；基于所述第一渲染图像和所述第二渲染图像，利用训练好的置换贴图预测神经网络预测深度方向置换贴图；将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上，得到重建的三维人脸模型。本发明无需大量采集真实三维人脸模型的情况下，仅使用单张图片即可得到精细的三维人脸模型。

技术领域

本发明涉及三维人脸模型重建技术领域，特别是涉及一种基于自监督学习的三维人脸模型重建方法及系统。

背景技术

人脸三维重建在计算机视觉领域有着十分广泛的应用，比如辅助人脸识别、人脸表情识别以及在影视动画中角色面部的制作等。人脸三维重建分为主动式和被动式两个大类。主动式建模利用外部光照如激光和结构光进行建模，这种通过仪器采集的方法可以直接获得深度信息，但是设备搭建复杂，过程执行繁琐，因而成本较高。被动式建模一般利用拍摄得到的图片或者视频进行建模。由多个相机组成的阵列同时采集一个人同一时刻的多个视角的照片，利用立体视觉的方法建模，可以得到较为精细的人脸模型，但是同主动式建模的方法类似，其设备搭建和执行十分复杂，计算成本高且只适合用于实验室的光照环境，无法普及应用。随着手机等移动设备的普及，图片和视频的获取变得更加方便，利用单张图像来重建人脸三维模型有了更大的需求同时衍生出许多的应用。相比于其他的人脸重建方案，基于单张图片的人脸重建无需搭建采集设备，素材易获取；但同时输入信息十分有限，由二维图片恢复三维信息是典型的病态问题，因此基于单张图片重建三维人脸模型依旧是一个极具挑战性的课题。

目前最为流行的人脸三维重建方法是基于形变模型的三维人脸重建(3DMM)，传统优化方法基于输入图像的人脸关键点，优化形变模型的几何参数(包括身份参数和表情参数)。这类方法通常需要迭代优化，在人脸模型点数较多的情况下往往十分耗时，而且常规的形变模型受限于参数化模型的低维度表示空间，其重建结果较为平滑，缺乏高频的细节信息。随着深度学习方法在计算机视觉领域的许多方面取得了超越传统优化方法的效果，近年来越来越多的人脸三维重建工作开始引入深度学习的方法。然而深度学习方法中神经网络的训练需要大量数据，不同于分类、识别等任务中易于获取的图片数据集，人脸三维重建任务难以获得大量的与人脸图片对应的真实人脸三维模型，缺乏足够的训练数据降低了深度学习方法的效果。一些方法提出利用参数化人脸模型通过仿真采样得到大量虚拟三维人脸模型，结合不同光照信息进行渲染得到人脸三维模型对应的人脸图片，将这样的虚拟数据作为训练集训练神经网络。然而由于渲染得到的虚拟图片和真实图片仍有差距，训练结果在对真实图片的泛化性较差。同时，虚拟数据集无法仿真人脸细节信息，最终的人脸重建结果不够精细。

发明内容

本发明的目的是提供一种基于自监督学习的三维人脸模型重建方法及系统，无需大量采集真实三维人脸模型的情况下，仅使用单张图片即可得到精细的三维人脸模型。

为实现上述目的，本发明提供了如下方案：

一种基于自监督学习的三维人脸模型重建方法，包括：

基于单张人脸图片，利用训练好的编码神经网络预测粗糙三维人脸模型参数；

基于所述粗糙三维人脸模型参数构建粗糙三维人脸模型；

将所述粗糙三维人脸模型进行UV展开并进行渲染，得到第一渲染图像；

将所述单张人脸图像反投影到所述粗糙三维人脸模型后进行UV展开并进行渲染，得到第二渲染图像；

基于所述第一渲染图像和所述第二渲染图像，利用训练好的置换贴图预测神经网络预测深度方向置换贴图；

将所述深度方向置换贴图叠加到所述粗糙三维人脸模型上，得到重建的三维人脸模型。