[发明专利]基于多通道注意力选择生成对抗网络的人脸修复方法

说明书

本发明提供一种基于多通道注意力选择生成对抗网络的人脸修复方法，其包括以下步骤：S1、采集人脸数据并进行预处理；S2、建立人脸修复模型及损失函数；S3、第一阶段，学习图像生成子网G_i并初步修复图像；S4、第二阶段，产生中间输出图I_G并学习多通道注意力图I_A；S5、构建多通道注意力选择模型并输出最终合成图；S6、进行人脸修复。所述人脸修复模型包括生成器网络G_i、参数共享鉴别器D和多通道注意力选择网络G_a，所述损失函数包括不确定性像素损失函数和对抗性损失函数。本发明提供的人脸修复方法有效地学习不确定性图，以指导像素损失，从而实现更强大的优化，提供一种更优的人脸修复方法。

【技术领域】

本发明涉及深度学习和图像处理领域，尤其涉及一种基于多通道注意力选择生成对抗网络的人脸修复方法。

【背景技术】

在图像修复领域，尤其对于眼内绘画，尽管DNN(深度神经网络)可以产生语义上合理且看起来逼真的结果，但大多数深度学习技术都无法在照片中保留人物的身份。例如，DNN可以学会睁开一对闭合的眼睛，但所述DNN本身并不能保证新的眼睛将与原始人的特定眼部结构相对应。

GAN(Generative adversarial networks，生成对抗网络)是一种特定类型的深层网络，其中包括以鉴别器网络为代表的可学习的对抗损失功能。GAN已成功地用于从头开始生成面部，或在面部上绘制缺失区域，适合一般的面部操作。

一种GAN变体，即条件GAN(cGAN)，可以用额外的信息约束生成器。通过加入统一身份的参照信息，则该GAN不必从头开始幻化纹理或结构，但仍将保留原始图像的语义，来产生高质量的个性化修复结果。然而在某些情况下，GAN仍然会失败，比如当一个人的眼睛被一缕头发遮住了一部分，或者有时不能正确地着色，就会产生一些奇怪的人工痕迹。

生成对抗网络三通道生成空间可能不足以适合学习良好的映射，扩大生成空间并学习自动选择机制以合成更细粒度的生成结果成为一种可行的尝试。而将多通道注意力选择GAN框架(SelectionGAN)用于图像修复任务成为可能。

因此，本发明提供一种基于多通道注意力选择生成对抗网络的人脸修复系统。

【发明内容】

为了解决人脸修复技术在个别条件下会出现图像遮挡、不正确的着色修复及奇怪人工修复痕迹等问题，本发明提供了一种基于多通道注意力选择生成对抗网络的人脸修复方法。

一种基于多通道注意力选择生成对抗网络的人脸修复方法，其包括以下步骤：

S1、采集人脸数据并进行预处理：获取同一个人的人脸图像对，包含睁眼和闭眼的图像，对收集到的图像进行预处理；

S2、建立人脸修复模型及损失函数：设计并构建人脸修复模型及损失函数，所述人脸修复模型基于条件对抗生成网络，所述人脸修复模型包括生成器网络G_i、参数共享鉴别器D和多通道注意力选择网络G_a，所述损失函数包括不确定性像素损失函数和对抗性损失函数；

S3、第一阶段，学习图像生成子网G_i并初步修复图像：学习图像生成子网G_i，所述图像生成子网G_i接收由标记的输入图像I_a和参考图像R_g组成的图像对，并初步修复所述图像对，生成修复图像I'_g＝G_i(I_a，R_g)；