[发明专利]一种基于记忆感知模块的生成对抗网络雾霾图像复原方法

权利要求书

1.一种基于记忆感知模块的生成对抗网络雾霾图像复原方法，其特征在于，步骤如下：

步骤1，构建雾霾-清晰数据集S：该数据集S包括雾霾图像与清晰图像，且雾霾图像与清晰图像一一对应；

步骤2，基于Pix2Pix条件生成对抗网络框架，结合图像去雾任务，构造并引入生成器G和判别器D；其中，生成器G用于学习雾霾图像域和清晰图像域的映射关系，将输入的雾霾图像转换到清晰图像域上，得到复原图像；判别器D用于判断所述复原图像是否为真实图像，判别器D配合生成器G进行对抗训练；

步骤3，初始化G和D网络参数，并构造目标损失函数以约束生成对抗训练中生成器G和判别器D的优化方向；其中，目标损失函数包括像素重构损失、特征感知损失以及对抗训练所产生的对抗损失；

步骤4，利用所述雾霾-清晰数据集S中成对的雾霾图像与清晰图像对生成器G和判别器D进行前向计算，分别得到生成器G和判别器D的目标损失函数；

步骤5，固定生成器G网络参数，利用Adam优化器更新判别器D的网络参数；

步骤6，固定判别器D网络参数，利用Adam优化器更新生成器G的网络参数；

步骤7，判断生成器G和判别器D的目标损失函数是否同时收敛，判断为否时返回步骤4，否则结束训练，得到生成器G网络参数的局部最优解，利用该训练好的生成器，可解算出复原图像估计值，即去雾图像。

2.根据权利要求1所述的一种基于记忆感知模块的生成对抗网络雾霾图像复原方法，其特征在于，生成器G网络以改进的U-Net子网络作为骨干网络，同时引入基于注意力机制和循环神经网络构建的雾霾信息感知记忆子网络，使生成器G实现去雾功能的同时还能够实现恢复图像的纹理和结构特征的功能。

3.根据权利要求2所述的一种基于记忆感知模块的生成对抗网络雾霾图像复原方法，其特征在于，步骤2中构造生成器G的具体步骤为：

步骤2-1，引入雾霾信息感知记忆子网络，，输出雾霾信息注意力图；

步骤2-2，改进的U-Net子网络基于经典的U-Net网络，在U-Net的基础上舍弃池化层和批标准化层，引入残差密集模块代替简单的卷积层，引入LeakyReLU函数代替ReLU函数，分别从特征提取能力、非线性表达能力方面提高网络的性能；

步骤2-3，将输入图像与雾霾信息感知记忆子网络的输出在通道方向上叠加，输入到改进的U-Net子网络得到最终的复原图像。

4.根据权利要求3所述的一种基于记忆感知模块的生成对抗网络雾霾图像复原方法，其特征在于，所述雾霾信息感知记忆子网络基于Inception感知模块、ResNet残差模块和LSTM长短期记忆模块构建，所述雾霾信息感知记忆子网络包括若干层结构，上述模块依次连接为层结构，每一层中，所述Inception感知模块、ResNet残差模块分别用于拓展网络的宽度和深度，所述LSTM长短期记忆模块用于传递信息，LSTM长短期记忆模块连接下一层的LSTM模块，以将低层特征信息传递到高层网络中，逐阶段地使网络更加关注与雾度相关的特征信息。

5.根据权利要求4所述的一种基于记忆感知模块的生成对抗网络雾霾图像复原方法，其特征在于，所述改进的U-Net子网路中残差密集模块是基于密集联通层和特征融合层构建的，所述密集联通层包含3个ResNet残差模块，每一个残差模块的输入为前面所有残差模块的输出在对应通道上的加和，能够将浅层特征直接传递给较深的网络；所述特征融合层将前面所有残差模块的特征连接，最后通过卷积核的卷积层进行特征融合，自适应的保留密集特征。

6.根据权利要求1至5任意一项所述的一种基于记忆感知模块的生成对抗网络雾霾图像复原方法，其特征在于，所述步骤2中，判别器D用于判断G生成的图像是否属于清晰图像，配合生成器G进行对抗训练，判别器D网络包括多尺度卷积模块、特征提取模块和输出模块；首先，通过多尺度卷积模块对输入图像完成尺寸减半、通道倍增操作，然后，通过特征提取模块对输入的特征图进行多次卷积特征提取，最后，通过输出模块输出特征图。