[发明专利]基于选择性注意力机制的图像去雾和去雨算法

说明书

本发明公开了一种基于选择性注意力机制的图像去雾和去雨算法，具体步骤包含如下：扩充训练样本、在训练集上训练网络、对测试图片进行去雾和去雨以及将复原后的图像与清晰图像进行评估三个过程；首先，去雾数据集将所用训练集进行裁剪，截取，旋转等操作进行对原有数据集进行扩充；然后将这些图片输入到基于选择性注意力机制的卷积网络中，使用多损失函数来训练网络；最后同样将测试图片输入到网络中，得到去雾/去雨的结果。本发明实现了一种端到端的去雾/去雨算法，能够高效、准确的对带雨/带雾图像进行去雨/去雾。

技术领域

本发明涉及图像复原技术领域，特别是一种基于选择性注意力机制的图像去雾和去雨算法。

背景技术

雨和雾霾在我们的日常生活中越来越普遍。在朦胧多雨的天气中拍摄的图像通常能见度和对比度都相对低。然而，各种视觉任务，如图像分类、语义分割和目标检测，都需要清晰的图像作为输入。雾霾和雨带使这些任务无法很好的完成。由于降雨图像中雨带的方向和密度以及带雾图像中雾的深度和大气光照是不均匀的，因此图像去叠和去噪是不适定问题。鉴于此，对图像去雾和去雨的研究具有重要意义。

传统的去雾、去雨算法大多根据物理模型来恢复最终的清晰图像，但这些方法在复杂的真实环境中仍会丢失大量的细节，近年来，深度学习方法不断被应用到图像复原领域，效果超越了传统方法，但目前的深度学习方法大多依赖于物理模型并且忽视了注意力机制的应用，恢复图片的效果不尽人意。

发明内容

针对现有图像去雾去雨方法中，依赖于物理模型以及复原效果不够好的情况下，本发明提供一种基于选择性注意力机制的图像去雾和去雨算法，

实现本发明的技术解决方案为：一种基于选择性注意力机制的图像去雾和去雨算法，包括扩充训练样本、在训练集上训练网络、对测试图片进行去雾/去雨，具体步骤如下：

步骤A：去雾数据集采用RESIDE数据集，去雨数据集采用Rain100H和Rain100L数据集，将数据集中训练集中一部分图片作为验证集，将训练集中剩下的图片进行裁剪，截取，旋转操作，对原有数据集进行扩充，生成一个更大的数据集；

步骤B:搭建去雾/去雨网络，使用步骤A中生成的数据集作为网络的输入，输出为复原后的清晰图像，初始权重采用xavier初始化，损失函数采用L1损失和结构相似性联合损失函数进行训练，观察训练集和验证集的训练情况，得到训练好的网络权重；

步骤C:将测试集图片作为步骤B中训练好网络的输入，得到去雨或去雾后的图像。

与现有技术相比，本发明的显著优点为：本发明实现了一种端到端的去雾/去雨算法，能够高效、准确的对带雨/带雾图像进行去雨/去雾。

附图说明

图1为去雾网络的基本框架图。

图2为去雨网络的基本框架图。

具体实施方式

一种基于选择性注意力机制的图像去雾和去雨算法，包括扩充训练样本、在训练集上训练网络、对测试图片进行去雾和去雨以及将复原后的图像与清晰图像进行评估，具体步骤如下：

步骤A：去雾数据集采用RESIDE数据集，去雨数据集采用Rain100H和Rain100L数据集，将数据集中训练集中一部分图片作为验证集，将训练集中剩下的图片进行裁剪，截取，旋转等操作进行对原有数据集进行扩充，生成一个更大的数据集；

步骤B:搭建如图1和图2的网络，使用步骤A中生成的数据集作为自己设计的网络的输入，输出为复原后的清晰图像，初始权重采用xavier初始化，损失函数采用L1损失和结构相似性(SSIM)联合损失函数进行训练，观察训练集和验证集的训练情况，得到训练好的网络权重。

步骤C:将测试集图片作为步骤B中训练好网络的输入，得到去雨或去雾后的图像。