[发明专利]一种基于对抗生成网络的图像修复方法

说明书

本发明涉及一种基于对抗生成网络的图像修复方法，包括步骤：S1、构建图像修复训练网络：将生成SE‑RestNet网络添加到生成网络中，将判别SE‑RestNet网络添加到判别网络，得到图像修复训练网络；S2、训练：从训练数据集中提取若干个原始图像，掩码处理得到若干个训练图像，分别使用所述生成网络中的所述生成SE‑RestNet网络生成训练修复图像，再使用所述判别网络中的所述判别SE‑RestNet网络判别所述修复图像的真假，使所述判别网络达到平衡状态后，以训练好的所述生成网络作为图像修复网络。本发明提供的一种基于对抗生成网络的图像修复方法，在对抗生成网络中添加SE‑RestNet网络块，使修复的图像保证图像结构和语义连贯性，图像修复的效果更佳，无修复痕迹。

技术领域

本发明涉及图像修改领域，尤其涉及一种基于对抗生成网络的图像修复方法。

背景技术

图像修复是在保证图像的清晰度和它的语义连贯性的前提下，利用图像中已有的信息，修补图像中的缺失信息或者移除图像中的特定信息的图像处理技术。此技术的核心挑战在于为缺失的区域合成视觉逼真和语义上合理的像素，以便与现有的像素保持一致。图像修复具有重要的现实意义，尤其在艺术作品的保护，修复老照片以及基于图像的渲染和计算机摄影方面有很多应用。

传统的图像修复方法多采用图像级特征来处理修复问题。块匹配(Patch-Match)方法提出寻找最佳匹配的补丁块来重建缺失区域。此方法在本质上可以提供真实的纹理信息，但是他们仅仅是利用给定上下文的低级特征，缺乏预测上下文高层次特征的能力。

为了更好的提取语义层面的信息，也得益于神经网络和深度学习的不断发展，更多的基于深度学习的方法被提出。上下文编码器(Context Encoder)是语义修复的一个开创性方法，给定一个缺失区域的掩码，训练一个神经网络对上下文信息进行编码并对受损内容进行预测，同时利用对抗损失来使得生成的图像尽可能真实，能够较好的修复缺失区域。但是此方法仍然缺乏一些修复细节并且存在明显的修复痕迹。

为了能够修复更高分辨率的图像，Iizuka等人提出添加膨胀卷积层来增加感受野并且联合局部和全局判别器提升修复的一致性。但是此方法无法修复缺失较大的图像，尽管视觉上修复纹理较连续，但是存在某些高度结构化的图片修复后存在模糊和不真实的情况，有较明显的修复痕迹。

基于补丁块的方法通过搜索最佳的匹配块来优化修复效果，但是这些方法只能提供已有的纹理信息，不能从语义结构上理解图像，也不能对物体结构做出合理的预测。随着深度生成式模型的快速发展，尤其是生成对抗网络(GAN)，GAN在生成高分辨率图像方面有着可观的表现。但是训练一个生成高清图像并且稳定的GAN网络是相当困难的。近期也提出了一些稳定训练的方法，例如DC-GAN，WGAN-GP，Wasserstein GAN(WGAN)，LSGAN和Progressive GANs。这些方法为稳定训练提供了实用的技巧，能够产生更加真实的高清图像。

由Pathak等人提出的Context-encoder基于生成对抗网络(GAN)，扩大了可修复缺失范围。其中的生成网络是通过判别器辅助训练，判别器是用来判别生成器生成的图像是否为真。通过训练生成网络来欺骗判别器，同时判别器也在不断的更新。训练过程联合均方误差(MSE)以及对抗损失，在128×128像素图像的中心修复64×64像素的区域来训练修复网络，避免了仅使用MSE损失时常见的模糊。

由Iizuka等人提出的基于全局和局部一致的图像修复在Context-encoder的基础上引入了全局和局部判别器，全局判别器判别生成的图像整体的连贯性，同时局部判别器专注于生成图片的小区域以保证局部一致性。Iizuka等人在生成网络中加入了膨胀卷积层代替Context-encoder当中的全连接层，这些操作都是为了扩大网络的感受野。

在生成网络的编码部分提取图像的特征得到低分辨率的特征图，特征图中编码了丰富的语义信息，然而在下采样过程当中丢失了图像的结构和语义信息，使得修复效果不清晰。