[发明专利]基于多通道注意力选择生成对抗网络的人脸修复方法

权利要求书

1.一种基于多通道注意力选择生成对抗网络的人脸修复方法，其特征在于，包括以下步骤：

S1、采集人脸数据并进行预处理：获取同一个人的人脸图像对，包含睁眼和闭眼的图像，对收集到的图像进行预处理；

S2、建立人脸修复模型及损失函数：设计并构建人脸修复模型及损失函数，所述人脸修复模型基于条件对抗生成网络，所述人脸修复模型包括生成器网络G_i、参数共享鉴别器D和多通道注意力选择网络G_a，所述损失函数包括不确定性像素损失函数和对抗性损失函数；

S3、第一阶段，学习图像生成子网G_i并初步修复图像：学习图像生成子网G_i，所述图像生成子网G_i接收由标记的输入图像I_a和参考图像R_g组成的图像对，并初步修复所述图像对，生成修复图像I'_g＝G_i(I_a，R_g)；

S4、第二阶段，产生中间输出图I_G并学习多通道注意力图I_A：将来自所述图像生成子网G_i的粗略修复图像I'_g、真值图片I_g以及来自所述生成器网络G_i最后一层的深层特征图F_i作为新特征F_c＝concat(I'_g，F_i，I_g)，其中concat(·)是按通道进行级联操作的函数；将所述新特征F_c输入至所述多通道注意力选择模块G_a中，产生多个中间输出图I_G，同时学习一组与中间生成图相同数量的多通道注意力图I_A，以指导多个优化损失；

S5、构建多通道注意力选择模型并输出最终合成图：通过所述多通道注意力图I_A用于从所述中间输出图I_G中执行通道选择，并得到最终合成图I″_g；

S6、进行人脸修复：将测试图像输入到训练好的所述人脸修复模型，获得高质量的人脸修复图像。

2.根据权利要求1所述的基于多通道注意力选择生成对抗网络的人脸修复方法，其特征在于，步骤S2中所述人脸修复模型采用级联策略，通过所述生成器网络G_i输出粗略的修复图像，从而产生模糊的眼睛细节以及目标图像的高像素级不相似性，再通过所述多通道注意力选择网络G_a利用粗略的修复图像产生细粒度的最终输出。

3.根据权利要求1所述的基于多通道注意力选择生成对抗网络的人脸修复方法，其特征在于，步骤S4中，所述新特征F_c输入至所述多通道注意力选择模块G_a中具体包括：通过与输入特征的逐元素乘法选择每个合并的特征，将所述特征以相同的分辨率重新调节池化的特征，将特征F_c馈送到卷积层后生成新的多尺度特征F′_c以供在所述多通道注意力选择模块G_a中使用，合并中应用一组M个空间比例{S_i}用于产生具有不同空间分辨率的合并要素，其池化过程表现为：

其中，concat(·)是按通道进行级联操作的函数，F_c为新特征，pl_ups(·)表示为以标度s进行池化，表示为逐元素乘法，i＝1～M。

4.根据权利要求1所述的基于多通道注意力选择生成对抗网络的人脸修复方法，其特征在于，步骤S4中，所述中间输出图I_G通过使用N个卷积滤波器之后进行tanh(·)非线性激活操作得到，所述多通道注意力图I_A通过N个卷积滤波器之后进行标准化的基于通道的softmax函数操作后得到，所述中间输出图I_G和所述多通道注意力图I_A的计算分别为：