[发明专利]一种轻量级的单幅图像去雨方法

说明书

本发明公开了一种轻量级的单幅图像去雨方法，其包括步骤：1)以PyTorch1.10深度学习框架为基础，搭建PReDenseNet去雨模型，所述PReDenseNet去雨模型包括依次连接的5个阶段，5个阶段参数共享，每个阶段由4个部分组成：输入卷积层、循环模块、特征提取模块、输出卷积层；2)对PReDenseNet去雨模型进行训练和验证；3)采用经验证后的PReDenseNet去雨模型对单幅图像进行去雨处理。本发明中轻量级的单幅图像去雨方法，其保证了去雨模型的轻量化，并且与现有的JORDER、RESCAN、PReNet及PReNet_D相比，具有更好的去雨效果。

技术领域

本发明涉及图形处理技术领域，特别涉及一种基于深度学习的轻量级单幅图像去雨方法。

背景技术

降雨作为一种常见且复杂的自然天气现象，不仅会严重影响人类的视觉感知系统，还会对我们在自然条件下拍摄的图像造成视觉上的退化，显著降低图像的能见度以及对比度。通常，近处的雨滴或雨纹会遮挡或扭曲图像背景内容，而远处的雨纹则会产生类似于雾的大气遮蔽效果，进而模糊图像内容，特别是在大雨条件下，会导致图像中的物体受到严重的遮挡。降雨还会对后续诸多高水平的视觉任务(如目标检测、场景分析、目标跟踪、人员再识别等)产生不利的影响。这些高水平视觉任务大多都是假设天气晴朗，不受降雨条纹和降雨累积的干扰，使用干净的户外自然图像作为输入，而在降雨这种恶劣的环境中获得的退化图像会严重影响视觉算法的性能。因此，在各种视觉任务的实际应用中，从有雨图像中恢复无雨图像是非常重要的，而去雨作为后续高级视觉任务的预处理步骤已经得到了广泛的研究。但由于有雨图像的复杂组成，图像去雨仍然是一个具有挑战性的问题。

目前已经有各种去除雨纹的算法出现，大多数现有的基于深度学习的去雨模型都是通过加深网络模型的深度来提高模型的各项性能，并且这已经被证明是一种有效的提升网络性能的方法。但单纯的加深网络的深度会使模型存在大量参数冗余问题，这就限制了图像去雨模型在实际存储资源受限场合中的应用，在应用过程中很难去分析出每个网络模块的模型贡献，且只考虑图像质量和各项指标的提升，并未把后续视觉任务的需求考虑在内，导致去雨模型很难嵌入到视觉任务的架构中，这会限制其在恶劣环境下计算机视觉系统中的应用。

去雨处理所带来的图像信息偏差也会影响到后续视觉任务的性能，在其它的诸如目标检测、行人识别、图像分割等领域已经提出了许多的轻量级网络模型，验证了轻量级网络的有效性，但是在单幅图像去雨领域，目前基于轻量化思想的网络模型还很少。因此，设计基于深度学习的轻量级单幅图像去雨模型是一个很值得研究的问题。

发明内容

有鉴于此，本发明的目的是提供一种轻量级的单幅图像去雨方法，其主要用于单幅图像去雨，解决降雨条件下拍摄的雨图的去雨问题以及图像背景细节恢复问题。

本发明轻量级的单幅图像去雨方法包括以下步骤：

步骤一：以PyTorch1.10深度学习框架为基础，搭建PReDenseNet去雨模型，所述PReDenseNet去雨模型包括依次连接的5个阶段，5个阶段参数共享，每个阶段由4个部分组成：输入卷积层、循环模块、特征提取模块和输出卷积层；

所述特征提取模块由3部分组成：密集连接块、过渡块和残差连接，所述密集连接块包括空洞率依次为1、2、5、1和2的5个空洞卷积层，所述过渡块包括依次连接的ReLU、卷积块和SE模块，过渡块连接在密集连接块的输出端；

步骤二：对PReDenseNet去雨模型进行训练和验证，其又包括以下步骤：

1)对RainTrainH数据集进行处理，所述RainTrainH数据集包含1800对rain图片和norain图片，其中有546对图片的背景与验证集中的背景内容相同，训练集中剔除这546对图片，将剩余的1254对有雨图片作为训练集，使用ADAM优化算法对PReDenseNet去雨模型进行训练；