[发明专利]一种基于增强型生成对抗网络的图像超分辨率方法

说明书

本发明公开了一种基于增强型生成对抗网络的图像超分辨率算法。主要任务为搭建生成网络和判别网络，并对他们进行训练，最终期望获得可以有效提高图像分辨率的算法模型。其中，在生成网络中，提出采用一种并行卷积密集连接残差块代替原算法中的DenseBlock，增大图像感受野，并添加通道注意力与空间注意力机制在并行卷积密集连接残差块后，将并行密集连接残差块与注意力机制结合作为生成网络基本单元，增强算法对图像高频信息的学习能力，以提高超分辨率效果。

技术领域

本发明属于计算机视觉领域，具体为一种基于增强型生成对抗网络的图像超分辨率方法。

背景技术

单幅图像的超分辨率是一个基础且活跃的研究课题，目的在于通过提高图像的分辨率。自从C.DONG提出SRCNN模型，利用卷积网络的方法实现超分辨率以来，超分辨率技术开始蓬勃发展，不断有各种新型的网络结构和训练策略问世，超分辨率性能不断提高。C.DONG提出的模型中只有三层卷积网络，较浅的网络层数难以提取图像的深层信息，但是简单的增加网络深度，即使利用正则化后，依然会出现网络退化问题。2015年He等人提出了一种残差网络，在网络中添加一种跳过连接，可以直接将上层信息跳过本层的计算直接输入下层中。通过这种网络结构可以很大程度上解决网络退化问题，这种思想让更深的网络结构成为可能。

2014,随着深度学习的兴起，Ian J等人提出了生成对抗网络(GenerativeAdversarial Network,GAN),其模型由生成网络部分和判别网络部分组成。GAN网络由生成网络输出响应结果并将结果输入判别网络中，判别网络给生成结果打分判断训练效果。模型利用零和博弈的思想，生成网络的训练目标是生成可以骗过判别网络的结果，而判别网络的目标则是有效判别出真实结果与生成网络的生成结果，生成网络与判别网络在对抗中进行训练，不断进步，不断提高生成网络的效果。2018年,Ledig将对抗生成网络应用到超分辨率领域，提出了SRGAN算法，改进了网络的损失函数并引入对抗损失和感知损失。之前的超分辨率研究更注重于恢复细粒度的纹理细节，特别将研究注重于提高算法的PSNR，但这会导致算法高频细节丢失，图像的整体会过于平滑，锐度不够，与人眼直观的感知效果不一致。SRGAN相比从前更关注于生成效果的真实性，更注重与原图的相似程度，生成的图像效果也与人的主观感受更符合。

2018年，Wang等人在SEGAN的基础上，提出了ESRGAN。其通过去掉BN层，降低计算量，有利于去除伪影，提高泛化能力；将原始的残差块改编为多层密集连接残差网络，使训练能力更稳定，更容易；利用RaGAN的方法改进判别网络，提高重建图像的真实性和细节纹理；对损失函数就进行优化，用VGG激活前的特征值计算损失，提高亮度一致性，提升对高频信息的敏感度。

发明内容

发明目的：针对上述现有技术，提出一种基于增强型生成对抗网络的图像超分辨率方法。

技术方案：一种基于增强型生成对抗网络的图像超分辨率方法，包括以下步骤：

1)基于RRDB嵌套残差密集结构，利用并行卷积PC实现多尺度特征提取，加入CBAM注意力机制模块提高对高频信息的学习能力，构建并行卷积密集连接残差块RR-PADB；

2)构建超分辨率网络模型，所述模型包括生成网络和判别网络，其中在生成网络中加入步骤1)中构建的并行卷积密集连接残差块RR-PADB；

3)在步骤2)中的生成网络中输入低分辨率图像，输出假的高分辨率图像，将假的高分辨率图像以及原始的低分辨率图像输入所述判别网络中，由判别网络对假的高分辨率图像进行评判，若判别为假则生成网络继续训练；若判别为真则生成网络停止训练，此时生成网络即为改进的超分辨率模型；

4)通过步骤3)中改进的超分辨率模型对图像进行处理。

优选的，步骤1)中构建并行卷积密集连接残差块RR-PADB的实现过程为：

并行卷积PC表达式为：