[发明专利]一种基于GAN人脸先验信息预测和融合的人脸图像修复方法

权利要求书

1.一种基于GAN人脸先验信息预测和融合的人脸图像修复方法，其特征在于，所述方法包括以下步骤：

步骤1：下载公开人脸数据集，对所述数据集进行预处理，构建缺失人脸的图像x_θ，同时按比例分为训练集、验证集和测试集；

步骤2：所述的人脸图像补全方法主要包括两个阶段：stage-I阶段和stageII阶段，具体步骤包括：

stage-I阶段的粗修神经网络模型包括第一生成器、两个编码器和三个解码器，首先将步骤1构建的缺失了人脸信息的图像x_θ送入以变分自动编码器VAE结构为backbone的网络，经过两个编码器和三个解码器，非线性重构得到人脸轮廓信息M′_θ-f、人脸区域信息x′_θ-f和人脸关键点信息x′_θ-l；将VAE网络重构得到的人脸轮廓信息、结构信息和内容信息做信息融合得到有助于生成清晰人脸的轮廓、结构和内容的人脸先验指导信息；把缺失了人脸信息的图像x_θ送入第一生成器，并在第一生成器中间层融合所述人脸先验指导信息以充分探究脸部区域信息，生成低分辨率的人脸脸部图像；

步骤21：将所述缺失人脸图像x_θ依次输入两个编码器和三个解码器，通过非线性重构得到人脸轮廓信息M′_θ-f、人脸区域信息x′_θ-f、和人脸关键点信息x′_θ-l以分别提取人脸的轮廓、区域和关键点信息；

步骤22：联合人脸轮廓信息、人脸区域信息和人脸关键点信息构造得到人脸编码特征向量z_θ-f和z_θ-l，最后通过特征融合将z_θ-f和z_θ-l进行融合，构造人脸特征表达空间，得到能提供更高质量的人脸先验指导信息z_θ-M；

步骤23：在stage-I训练阶段中将缺失的人脸图像x_θ通过第一生成器，并在所述第一生成器中间层融合所述人脸先验指导信息，拼接到第一生成器的中间特征图之后，在先验指导信息的作用下，生成低分辨率自然对称人脸图像；

步骤24：按照设定的每次训练集批次大小对stage-I阶段的神经网络模型进行迭代训练，根据人脸轮廓信息，人脸内容信息和人脸结构信息的重构损失函数和人脸信息预测损失函数迭代更新stage-I的生成器、编码器和解码器网络参数，完成stage-I的人脸图像补全网络训练；

步骤25：判断是否达到设定的验证迭代次数，若达到，则验证一次模型和保存一次模型；若未达到，则执行步骤26；

步骤26：判断是否达到设定的迭代总次数，若达到，则结束训练；否则，重复步骤21～25；

步骤3：stage-I阶段的粗修神经网络训练完成后，冻结已训练好的stage-I神经网络及相关参数，开启stage-II阶段的精修神经网络学习及训练过程，stage-II阶段的网络结构主要包括：第二生成器、全局判别器和分块判别器，具体步骤包括：

步骤31：stage-II阶段以stage-I阶段生成的低分辨率自然对称人脸图像作为输入，输入第二生成器，同时为了更好地考虑人脸结构信息，在第二生成器的中间层进一步引入所述人脸先验指导信息以使人脸细节、结构更精细化，生成具有较高分辨率的第一人脸修复图像；

步骤32：将所述第一人脸修复图像送入两个判别器，借助GAN网络生成对抗的思想使第二生成器生成高分辨率的且人脸结构对称的人脸修复图像，全局判别器从整体上判断图像的分布一致性，分块判别器则负责在每个在patch中监督图像的生成细节；

步骤32：按照设定的每次训练集批次大小对所述stage-II阶段的人脸图像精修网络进行迭代训练；

步骤33：判断是否达到设定的验证迭代次数，若达到，则验证一次模型和保存一次模型；若未达到，则执行步骤34；

步骤34：判断是否达到设定的迭代总次数，若达到，则训练结束；否则，重复步骤31-步骤33；

步骤4：根据测试集对训练好的修复模型进行测试。

2.如权利要求1所述的人脸图像修复方法，其特征在于，在stage-I阶段的训练中，通过添加约束，使用三个潜在特征判别器替代原有KL散度作为约束，以减小KL散度的大基数对人脸部分重建损失造成的干扰，同时能与编码器抗争，增强其学习能力，获得更精确的人脸特征信息。

3.如权利要求2所述的人脸图像修复方法，其特征在于，预处理方法包括：

构造四种参考标准图像来辅助人脸补全，包括标准人脸轮廓图像M_θ-f，标准人脸内容图像X_θ-f，标准人脸结构图像Z_θ-l和标准人像前景图X_FG，获取方法如下：

标准人脸轮廓图像M_θ-f，用人脸检测对齐方法从原始的人脸中提取人脸的68个关键点，将得到的41个关键点逐个按照关键点大小的3％进行扩张，以确保将人脸的眉毛和边界的信息融入在内，从而得到人脸轮廓图像M_θ-f；

标准人脸内容图像X_θ-f，原始图像X_real与标准人脸轮廓图像M_θ-f相乘获得标准人脸内容图像X_θ-f；

标准人脸结构图像Z_θ-l，通过将人脸中的包括眼睛、鼻子、嘴等的41个关键点做膨胀融合，得到人脸结构图像Z_θ-l；

标准人像前景图X_FG，通过使用百度接口的获得人像分割得到。