[发明专利]一种基于生成式对抗网络的人脸表情编辑方法

摘要

本发明公开了一种基于生成式对抗网络的人脸表情编辑方法，其整体步骤为：数据准备阶段，对人脸图像进行人工标注并裁剪出来；模型设计阶段，由生成器和判别器生成模型；模型训练阶段，将真实带标注的人脸图片和生成器生成的图片输入判别器，训练并使得判别器用来区分真实样本和生成样本的分布，学习人脸表情分布以及人脸身份信息的分布；再将待编辑人脸图片和表情控制向量输入生成器，输出由表情控制向量控制的人脸图片；然后对训练好的判别器做真实训练；重复上述步骤，完成模型的构建；输入图像对构建好的模型进行测试。本发明可以保证生成器生成更加接近真实人脸图片分布，更好地保持人脸身份信息，表情编辑更加有效的人脸图片。

主权项

1.一种基于生成式对抗网络的人脸表情编辑方法，其特征在于：所述方法的整体步骤为：

步骤S1、数据准备阶段

a、对RGB图像集合中的每一张人脸进行人工标注，标注出人脸身份信息和人脸表情信息；每张图片的标注信息用[i，j]表示，i代表该图片属于第i个人，j代表该图片属于第j种表情；

b、通过人脸检测器和人脸特征点检测器将标注完成的图像集合中的人脸从图片上裁剪出来，并做人脸对齐；

步骤S2、模型设计阶段

a、模型由两部分组成，分别为生成器G和判别器D；其中，生成器G用于根据输入的待编辑人脸图片和表情控制向量，生成表情控制向量控制的人脸图片；判别器D用于根据生成器G生成的图片以及真实带标注的人脸图片，区分真实样本和生成样本的分布，并学习人脸表情分布以及人脸身份信息的分布；

b、利用上述生成器G和判别器D组成基于生成式对抗网络的人脸表情编辑的框架，从而进行对抗训练；

步骤S3、模型训练阶段

a、将真实带标注的人脸图片和生成器G生成的图片输入判别器D，训练并使得判别器D用来区分真实样本和生成样本的分布，学习人脸表情分布以及人脸身份信息的分布；其中，生成器G生成的图片被标记为假[0]，真实带标注的人脸图片被标记为真[1，i，j]；

b、将待编辑人脸图片img0[i，j]和表情控制向量y输入生成器G，输出由表情控制向量控制的人脸图片；再将生成器G输出的图片假[0]，输入判别器D，使得判别器将其判别为真[1]、人脸身份信息i以及人脸表情信息j，保证生成器G生成更加真实、身份信息保持更好、表情控制更加有效的人脸图片；

c、每重复3次步骤a，然后重复1次步骤b，使判别器D训练得更好；判别器D训练得越好，越有利于生成器G的训练；

d、每个epoch保存一次模型参数，并且在测试集合上进行人脸表情编辑，观察生成器G的输出图片效果；当生成器G生成满足要求的人脸图片时，停止模型训练；同时，保存人脸图片生成视觉效果最好的模型参数；

步骤S4、模型测试阶段

a、输入图像为包含人脸的图像I；

b、将图像I输入人脸检测器并获得人脸位置，并利用该人脸位置裁剪图像I获得人脸图像img0，然后对人脸图像img0做人脸对齐；

c、将对齐的人脸图片和表情控制向量输入生成器G，得到表情编辑后的人脸图片img1。