[发明专利]基于深度卷积神经网络单图像去雨方法、系统和存储介质

说明书

本申请的目的在于提供一种基于深度卷积神经网络单图像去雨方法、系统和存储介质，首先在第一阶段的雨层分离网络中，借助引入通道注意力的空洞卷积模块充分聚合输入雨图像的空间上下文信息，提取雨层信息，实现雨层分离和背景层的初步重建；然后在第二阶段的细节修复网络中，对分离的雨层生成雨纹位置信息的注意力映射，再借助引入通道注意力的多尺度特征融合的卷积模块，修复初步重建背景层中因移除雨层而丢失的细节，得到高质量的无雨图像。本发明通过搭建两阶段的深度卷积神经网络，有效地提取并移除雨图像中雨层，并修复退化的背景层，得到更高质量的无雨图像。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于两阶段深度卷积神经网络单图像去雨方法。

背景技术

现实中大部分计算机视觉算法都假定输入时清晰的，然而户外摄取的视频与图像数据常常受到恶劣天气的干扰，这很大程度上限制了计算机视觉系统的正常使用。下雨天是自然界最为常见的恶劣天气之一，雨纹离散分布在整张图像中，而且受雨纹影响的区域和旁边不受影响的区域会产生像素值突变，使得问题的建模和处理都变得非常困难。此外雨纹随机地出现在图像上遮盖原本的信息，原来的物体信息丢失，需要重新生成或者用相邻去雨的像素进行填补。因此，如何去除有雨图像上的雨纹，使有雨图像清晰化，开展单幅图像去雨课题的研究具有重要意义与实际应用价值。

现今基于学习的方法是研究的热点，由于雨图像中雨纹的大小、形状、方向不同，大量不同的雨纹叠加，因此单图像去雨是个高度复杂的问题，用单个网络往往很难一次性地修复雨图像，多阶段学习的方法如Li等提出的RESCAN网络，Ren等提出的PReNet，都取得了更好的去雨效果。

但现有的方法仍存在改进空间，如移除雨纹之后，会出现图像退化，即雨痕覆盖区域存在视觉伪影，偏移以及细节损失等问题。

发明内容

本申请的目的在于提供一种基于深度卷积神经网络单图像去雨方法、系统和存储介质，首先在第一阶段的雨层分离网络中，借助引入通道注意力的空洞卷积模块充分聚合输入雨图像的空间上下文信息，提取雨层信息，实现雨层分离和背景层的初步重建；然后在第二阶段的细节修复网络中，对分离的雨层生成雨纹位置信息的注意力映射，再借助引入通道注意力的多尺度特征融合的卷积模块，修复初步重建背景层中因移除雨层而丢失的细节，得到高质量的无雨图像。本发明通过搭建两阶段的深度卷积神经网络，有效地提取并移除雨图像中雨层，并修复退化的背景层，得到更高质量的无雨图像。

本发明第一方面提供了一种基于深度卷积神经网络单图像去雨方法，所述方法包括以下步骤：

获取含有大量干净无雨图像和对应的合成雨图像作为一个样本对的训练图像集；

构建网络模型，所述网络模型包括雨层分离子网络和细节修复子网络；

将所述训练图像集进行预处理，得到预处理训练集，输入所述网络模型中进行训练，获得训练好的去雨网络模型；

将需要去雨图像输入训练好的去雨网络模型中，获得去雨图像；

所述雨层分离子网络由两个卷积层、一个残差块和七个引入通道注意力的空洞卷积模块构成，用于分离雨层及初步重建背景层；

所述细节修复子网络由两个卷积层、一个残差块和五个引入注意力的多尺度特征融合模块构成，用于修复移除雨层后背景层丢失的细节。

本方案中，所述雨层分离子网络具体为：

所述雨层分离子网络的浅层由一个卷积层和一个残差块组成，用于初步得到输入雨图的浅层特征表示F_shallow，表示为，

F_shallow＝Res(Conv_3x3(O))