[发明专利]基于深度学习的人脸重建方法和装置

说明书

本申请提出一种基于深度学习的人脸重建方法和装置，涉及图像处理技术领域，其中，方法包括：获取人脸多视角图片数据集，利用多视角重建方法对人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；通过深度卷积神经网络对不同用户的人脸三维几何和纹理图和人脸多视角图片数据集进行训练，获取深度神经网络；将待处理的人脸视频输入深度神经网络进行处理，获取人脸视频的中每一帧的人脸三维几何和纹理图。由此，仅需用户录制一段做不同表情的人脸视频，就可以得到该人脸的几何和纹理，重建出的几何和纹理具有更高的精度。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种基于深度学习的人脸重建方法和装置。

背景技术

人脸三维重建在人脸动画以及人脸跟踪中有重要的应用。在人脸动画领域，高精度的人脸几何和纹理对于人脸动画的结果非常重要，使用高精度的几何和纹理，可以使得人物动画更加具有真实感。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于深度学习的人脸重建方法，仅需用户录制一段做不同表情的人脸视频，就可以得到该人脸的几何和纹理，重建出的几何和纹理具有更高的精度。

本申请的第二个目的在于提出一种基于深度学习的人脸重建装置。

为达上述目的，本申请第一方面实施例提出了一种基于深度学习的人脸重建方法，包括：

获取人脸多视角图片数据集，利用多视角重建方法对所述人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；

通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理图和所述人脸多视角图片数据集进行训练，获取深度神经网络；

将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图。

本申请实施例的基于深度学习的人脸重建方法，通过获取人脸多视角图片数据集，利用多视角重建方法对人脸多视角图片数据集中的人脸多视角图片进行重建，获取不同用户的人脸三维几何和纹理图；通过深度卷积神经网络对不同用户的人脸三维几何和纹理图和人脸多视角图片数据集进行训练，获取深度神经网络；将待处理的人脸视频输入深度神经网络进行处理，获取人脸视频的中每一帧的人脸三维几何和纹理图。由此，仅需用户录制一段做不同表情的人脸视频，就可以得到该人脸的几何和纹理，重建出的几何和纹理具有更高的精度。

在本申请的一个实施例中，所述通过深度卷积神经网络对所述不同用户的人脸三维几何和纹理和所述人脸多视角图片数据集进行训练，获取深度神经网络，包括：

所述深度卷积神经网络的输入为人脸多视角图片，输出为人脸三维几何和纹理图，使用所述深度卷积神经网络输出和对应的强监督信号之间的损失误差作为强监督训练误差进行训练，其中，不同视角图片输入对应的输出人脸三维几何和纹理图之间的损失误差相等。

在本申请的一个实施例中，利用人脸注册方法对不同的人脸几何进行注册，将所有三维人脸表示为具有相同拓扑的三维模型，所有不同的人脸都表示在相同的平面空间中。

在本申请的一个实施例中，所述将待处理的人脸视频输入所述深度神经网络进行处理，获取所述人脸视频的中每一帧的人脸三维几何和纹理图，包括：

提取所述人脸视频的每个视频帧；

对所述视频帧进行人脸识别，获取人脸图像；

对所述人脸图像进行特征提取，获取人脸三维几何和纹理图。

在本申请的一个实施例中，所述基于深度学习的人脸重建方法，还包括：