[发明专利]一种基于DenseNet生成对抗网络的语义图像修复方法

说明书

本发明公开一种基于DenseNet生成对抗网络的语义图像修复方法。包括：收集图像预处理，构建训练和测试数据集；构建DenseNet生成对抗网络；训练DenseNet生成对抗网络阶段；最后，利用训练好的网络实现缺损图像的修复处理。本发明在生成对抗网络的框架下，引入DenseNet结构并构建新的损失函数以优化网络，不仅减轻了梯度消失，减小网络参数，同时提高特征的传递和利用，改进和提高了大区域语义信息缺失图像修复的相似性和视觉效果。实例表明本发明能够实现缺损信息严重的人脸图像修复，而且与现有的其他方法相比，修复结果更为符合视觉认知。

技术领域

本发明涉及一种基于DenseNet生成对抗网络的语义图像修复方 法，属于深度学习和图像处理领域。

背景技术

图像修复技术是利用图像已知区域对丢失信息进行修复，使得修 复之后的图像最大化的还原原始图像并且符合人类的视觉感官。图像 修复技术最早出现在文艺复兴时期，用于保护恢复中世纪文艺作品。 近年来，基于计算的数字图像修复技术受到关注逐渐发展起来。现有 的修复算法已能够较好地修复图片中的条形划痕，小区域的背景填充 等问题，但对于语义信息缺失严重的图像修复仍具有相当的局限性。 语义图像修复问题需要在图像理解的基础上，进行有效的缺失信息预 测，是有待研究解决的难题。

近年来，深度学习的研究取得卓越进展，在高级图像理解任务如 图像分类、目标检测等中，取得了令人瞩目成绩。基于深度学习的图 像修复算法研究成为图像修复技术研究的热点。其中2014年提出的 生成对抗网络(GAN)更为图像修复算法研究提供了崭新的方向。 Pathak和Yang等人将自动编码网络和GAN结合用于大面积缺损的 语义图像修复。尽管该模型能够学习到图像的基本语义信息，但修复 区域的准确性和视觉效果还有待提高。

发明内容

本发明给出一种基于DenseNet生成对抗网络的语义图像修复方 法。本发明的核心思想是在生成对抗网络的框架下，引入DenseNet 结构减轻梯度消失，提高特征的传递和利用，减小网络参数，同时构 建新的损失函数以优化网络，改进和提高大区域语义信息缺失图像修 复的相似性和视觉效果。

目前，在基于生成对抗网络的图像修复技术中，有待解决的两个 关键问题分别是：(1)梯度消失。随着网络深度的增加，梯度消失问 题会愈加严重，造成网络崩溃；(2)图像修复的伪影和相似度。目前 语义信息缺失的修复图像中存在伪影，相似度较低，视觉体验有待改 进。针对上述问题，本发明提出一种新的基于DenseNet生成对抗网络 的修复方案，可以解决以上两个问题。在层级不变的情况下，能够有 效减小网络参数、减少梯度消失、提高网络稳定性，同时增加层间特 征复用，更有效的利用特征，结合新的网络损失函数，进一步提高语 义信息缺损图像的修复效果。

本发明采用的技术方案如下：

一种基于DenseNet生成对抗网络的语义图像修复方法，包括以 下步骤：

步骤1、数据预处理阶段。收集图像作为数据集，将收集到的图 像进行预处理，裁剪成设定尺寸的图像，用于构建训练数据集和测试 数据集。

步骤2、构建DenseNet生成对抗网络。生成对抗网络模型由 DenseNet生成网络G和判别网络D构成。生成网络G采用编码-解 码器的网络结构，其中编码器由DenseNet模块和卷积层构成，解码 器由DenseNet模块和反卷积层构成。同时编码器和解码器之间存在 跳跃连接(skip-connection)。编码器对输入图像下采样，提取抽象特 征。解码器通过反卷积对编码之后的特征数据进行上采样使得输出数 据大小与输入图像大小保持一致。判别网络由卷积层和全连接层构成 的二分类网络，实现输入图像的真伪判定。