[发明专利]基于高效通道注意力机制的龙格库塔模块去雨的方法

说明书

本发明提出一种基于高效通道注意力机制的龙格库塔模块去雨的方法。本发明包括以下步骤：1.图像预处理；2.利用全局回传网络对图像高阶信息进再提取；3.基于高效通道注意力机制的龙格库塔模块的图像特征提取；4.利用负结构相似性计算输出图像与真实图像的损失值，利用该损失值进行梯度回传，进而优化网络性能。本发明通过堆叠多个基于高效通道注意力机制的龙格库塔模块，构建深度去雨模型，较好地特提取雨痕特征，并重构清晰的雨天背景图像。同时，为了获取的高阶特征能够改善低阶特征，采用全局回传机制，利用雨痕的高阶特征以更新其低阶特征，提高对雨痕表征的提取质量，逐步提升重建背景图的质量，并且获得了目前在单幅图像去雨的最好效果。

技术领域

本发明提出了一种基于高效通道注意力机制的龙格库塔模块去雨的方法。

背景技术

雨是一种常见的自然现象，在该天气影响下，户外拍摄到的图像会有诸多的弊端，图像中的雨痕等噪声会对背景场景产生一定的遮挡和扭曲，使得图像中的关键信息受到较大的干扰，不利于图像的后期使用。许多用于户外场景的计算机视觉应用一般需要高质量清晰的图像作为输入才能正常工作。当输入的图像带有干扰性信息如雨、雪、雾，这些干扰性信息往往会降低性能。为了重建清晰的背景图像，需要对相应的雨图像进行去噪。在图像缺少时序信息时，单个图像去雨是一项具有挑战性的任务。因此，去雨工作也就成为了计算机视觉和模式识别领域最受欢迎的研究之一，引起了人们的广泛关注。

到目前为止，学者们已经提出了许多种单图像去雨的方法，而目前最主要的去雨方法是基于深度学习(deep learning)方法去雨，该类方法构建神经网络并训练大量数据，形成有雨图像和无雨图像之间的映射，进而得到干净的无雨图像。利用深卷积神经网络强大的特征提取能力，深度学习方法相对于基于模型的方法实现了显著的性能提升。许多基于卷积神经网络的方法都是用先进的网络体系结构提出的，如空洞卷积，密集卷积和递归块等卷积神经网络来提高去雨能力。

但是目前基于深度学习去雨的方法存在着以下两个问题：

(1)现在基于深度学习去雨方法的性能虽然已经越来越好，但是大都是由于网络层数的增加而提高性能，对计算机的算力要求越来越高，不能通过较好的网络架构来提高去雨的性能。

(2)在有雨图像中，由于雨痕中的部分特征与背景纹理的特征具有相似重叠性，导致在使用基于深度学习的算法进行去雨时出现过度平滑的现象，不能很好地展示去雨后的图像。于此同时，因为雨痕部分信息的严重丢失，传统网络对雨痕特征的提取不够充分，分离得到的背景图层有时会残留部分雨痕。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于高效通道注意力机制的龙格库塔模块去雨的方法。

本发明提出的网络结构用数据集Rain100L和Rain100H进行训练和测试。两种数据集中的样本都是利用软件在原始图像上添加雨痕生成的，其中Rain100L数据集较小，只包含一种类型的雨痕，含有训练样本200对，测试样本100对；Rain100H数据集较大，包含五种不同方向的雨痕，含有训练样本1800对，测试样本100对，但网络在实际训练时使用的样本是其中的1254对。

网络所采用的卷积层的通道数都设定为32，残差网络部分的卷积核大小为3，网络回传模块的迭代次数为7。本发明的网络模型利用深度学习框架pytorch,在带有NVIDIAGTX 1080Ti GPU的电脑上进行训练,输入的图像为RGB三通道彩色图像，每一块划分得到的图像块大小为100*100，一次训练所选取的样本数量为8。训练过程中采用ADAM算法进行优化，初始学习率设置为0.001，总共训练100次，在第30，50，80次训练时，学习率会以0.2的倍率衰减，优化器的其他参数设置保持默认。

步骤1：图像预处理

先对所有的有雨图像和原始图像进行预处理，将图像处理成480×320像素大小的图像。

步骤2：利用全局回传机制对图像高阶信息进行再提取