[发明专利]一种基于3DMM和GAN的人脸图像生成方法

说明书

本发明涉及一种基于3DMM和GAN的人脸图像生成方法，其特征在于，包括以下步骤：制作2D人脸数据集；利用3DMM将2D人脸数据集中的人脸图像进行三维重建；利用主成分分析法中心化人脸数据库，得到人脸关键点数据集；利用生成对抗网络对人脸关键点数据集进行训练；根据训练好的人脸关键点数据集进行人脸图像重建。本发明可提高人脸图像的生成质量和精度。本发明提供的方法引入PCA算法和生成对抗网络的思想，使用PCA算法对三维人脸数据模型提取关键点，再利用生成对抗网络中的判别器和生成器不断博弈，对模型进行训练，从而生成分布较好的数据集，最后进行人脸图像重建，从而得到细节较好和质量较高的人脸图像。

技术领域

本发明涉及一种通过3DMM和GAN来生成高质量人脸图像的方法，属于计算机视觉技术领域。

背景技术

人脸图像是日常生活中较为常见的数据类型，它在各个应用场景都发挥着重要的作用。随着这些年生成对抗网络(GAN)的不断发展和突破，人脸图像生成技术在人脸图像处理领域的作用越来越明显。虽然现在图像生成技术发展迅速，可以生成高分辨率的人脸图像，但是还存在一些问题，例如可操控性较差、人脸细节较差、参数量大等。

3DMM是三维可变形人脸模型，是一种基于图像的人脸三维重建方法。它是一个通用的三维人脸模型，用固定的点数来表示人脸。它的核心思想是人脸可以在三维空间中进行一一匹配，并且可以由其他许多幅人脸正交基加权线性相加而来。至今为止，3DMM模型已经有超过20年的历史，技术已经发展到从早期基于传统的优化方法到如今基于深度学习模型的系数回归。不过当前的3DMM模型还面临着许多挑战。例如，模型参数空间是一个比较低维的参数空间，并且纹理模型过于简单，导致生成结果过于平均，难以重建人脸皱纹等细节特征。对此，有的方法通过增加局部模型进行了改进，而最新的生成对抗网络技术也开始应用于纹理建模。

发明内容

本发明的目的是：在参数量较小的情况下生成较好的人脸图像，以及解决模型较小时生成人脸图像质量差、模式单一的问题。

为了达到上述目的，本发明的技术方案是提供了一种基于3DMM和GAN的人脸图像生成方法，其特征在于，包括以下步骤：

步骤1、制作2D人脸数据集，2D人脸数据集中每个人脸都有n张不同角度的人脸图像，m≥2；

步骤2、利用3DMM将2D人脸数据集中的人脸图像进行三维重建，使对应同一个人脸的m张人脸图像在三维空间中进行一一匹配，建立与当前人脸相对应的3D人脸模型，从而获得人脸数据库，其中，每一个3D人脸模型可以在2D人脸数据集中所有人脸图像组成的基向量空间中进行表示；

步骤3、利用主成分分析法中心化人脸数据库，得到人脸关键点数据集；

步骤4、利用生成对抗网络对人脸关键点数据集进行训练，其中，生成对抗网络由生成器G和判别器D，判别器D用于从真实图和生成图中区分出真实图，生成器G用于生成接近真实的图像以欺骗判别器D；

步骤5、根据训练好的人脸关键点数据集进行人脸图像重建，得到图像细节较好且图像质量较高的人脸图像。