[发明专利]一种基于记忆感知模块的生成对抗网络雾霾图像复原方法

说明书

本发明涉及一种基于记忆感知模块的生成对抗网络雾霾图像复原方法。首先，在Pix2Pix条件生成对抗网络框架下，引入能够根据雾霾图像生成复原图像的生成器G以及判别复原图像是否属于真实图像的判别器D，并进行网络训练。将对抗损失、像素重构损失和特征感知损失作为网络整体目标损失函数，在网络训练过程中，将成对的雾霾‑清晰图像数据集输入网络，对生成器G和判别器D进行训练，并采用优化器对G和D网络参数进行更新，以目标损失函数值是否收敛作为训练结束的判断条件，最终得到网络模型的局部最优解。与传统的基于物理模型的图像去雾方法相比，本发明实现了对雾霾图像一步到位的复原，并且该网络具有较高的运行效率，能够得到高质量的复原图像。

技术领域

本发明属于计算机数字图像处理技术领域，尤其涉及一种基于记忆感知模块的生成对抗网络雾霾图像复原方法。

背景技术

在日常摄影或医学影像检测等应用领域中，由于大气的存在，成像质量不可避免地受到大气中粒子的辐射、吸收和散射等物理因素的影响，尤其是在雾霾或者雨雪天气下，像质退化将更为严重。图像退化将严重损害图像细节的辨识度，降低使用价值，因此，研究图像去雾方法具有及其迫切的应用需求，对充分挖掘图像的应用价值具有重大意义。

传统的单幅图像去雾一般基于物理模型方法，该方法存在两方面的不足，一是物理模型去雾是一个典型的不适定问题，需要强先验条件或假设，不适用于任意场景的图像去雾，二是估算复原图像，需要首先估计与雾霾成像相关的中间变量，这造成中间误差的累积，和最终结果的不稳定。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种基于记忆感知模块的生成对抗网络雾霾图像复原方法，能够实现对雾霾天气下的雾霾图像一步到位的复原。

为达到上述目的，本发明采用的技术方案如下：

本发明的一种基于记忆感知模块的生成对抗网络雾霾图像复原方法，步骤如下：

步骤1，构建雾霾-清晰数据集S：该数据集S包括雾霾图像与清晰图像，且雾霾图像与清晰图像一一对应；

步骤2，基于Pix2Pix条件生成对抗网络框架，结合图像去雾任务，构造并引入生成器G和判别器D；其中，生成器G用于学习雾霾图像域和清晰图像域的映射关系，将输入的雾霾图像转换到清晰图像域上，得到复原图像；判别器D用于判断所述复原图像是否为真实图像，判别器D配合生成器G进行对抗训练；

步骤3，初始化网络参数，并构造目标损失函数以约束对抗训练中生成器G和判别器D的优化方向，；其中，目标损失函数包括像素重构损失、特征感知损失以及对抗训练所产生的对抗损失；

步骤4，利用所述雾霾-清晰数据集S中成对的雾霾图像与清晰图像对生成器G和判别器D进行前向计算，分别得到生成器G和判别器D的目标损失函数；

步骤5，固定生成器G网络参数，利用Adam优化器更新判别器D网络的参数；

步骤6，固定判别器D网络参数，利用Adam优化器更新生成器G网络的参数；

步骤7，循环执行步骤4、步骤5和步骤6，直至步骤4中计算生成器G和判别器D的损失函数值同时收敛，此时可得到生成器网络参数的局部最优解，利用该训练完备的生成器，即可解算出复原图像估计值。

进一步地，步骤2中，去雾网络以Pix2Pix生成对抗网络作为图像去雾的基本框架，以U-Net网络作为生成器网络G的骨干网络。为了使G更好地去除图像雾霾，并恢复图像纹理、结构等特征，本发明引入注意力机制和循环神经网络，将G设计成生成能力更强的网络，即基于雾霾信息感知记忆子网络和改进的U-Net子网络构建生成器G网络，所述改进后的U-Net子网络实现复原图像，包括去雾以及恢复图像的纹理结构；所述雾霾信息感知记忆子网络实现对不同雾浓度进行不同程度的关注。