[发明专利]一种基于多尺度字典学习的单图像去雨方法

说明书

本发明提供一种多尺度字典单图像去雨方法，包括：步骤1，将每对干净图像和合成带雨图像作为一个训练样本对，建立训练集；步骤2，网络模型构建，所述网络模型包括粗糙雨线提取模块和精细雨线提纯模块，其中，粗糙雨线提取模块包括两个卷积层和两个ReLU激活函数层，用于实现对合成带雨图像的粗糙雨线提取；精细雨线提纯模块包括七个卷积层和四个ReLU激活函数，用于从带噪雨线图像中恢复出精细雨线图；步骤3，利用步骤1中构建的训练集对网络模型进行训练，步骤4，将待测试的带雨图像输入到训练好的网络模型中，获得相应的去雨图像。本发明综合利用了稀疏理论和CNN学习能力，大大提高了SC问题的求解效率和重建精度。

技术领域

本发明属于图像处理领域，特别涉及用字典学习的方法进行单帧图像去雨。

背景技术

现实中，大部分计算机视觉算法都假定输入是清晰的，然而对于大多数室外视觉系统，例如视频监控和自动驾驶，雨天环境会严重影响成像质量，造成图像模糊、变形、可视性差等问题，这会大大降低系统的性能，因此，有效地消除雨水对图像的影响具有重要应用价值，特别是单张图像去雨，是去雨任务的重中之重。目前，单张图像去雨算法主要分为两类：基于先验和基于学习的方法。

基于先验的方法往往需要事先观察雨线特性，设计特定先验信息，例如雨线在某范围内多呈倾斜的直线或者具有低秩特性，但是此类算法的去雨性能很大程度上取决于先验信息的选取，难以处理现实中的复杂降雨情况。

基于学习的方法是近些年的研究热点，主要包括基于卷积神经网络(CNN)的方法，此类方法将图像去雨任务视为一个逐像素的回归任务，以整张图作为输入，去雨图作为输出，进行端对端的训练和测试。此类方法无需手工设计先验，利用CNN强大的学习能力，让网络自己学习雨线特征，但是此类方法中网络设计时缺少指导方案，缺少可解释性，不利于网络的改进和提升。

发明内容

基于上述分析，本发明的目的在于提供一种多尺度字典学习的单图像去雨方法，该方法将稀疏先验引入CNN网络设计，大大提高了去雨效果

本发明提供的一种多尺度字典单图像去雨方法，包括以下具体步骤：

步骤1，根据已有干净图像，通过添加雨线得到对应合成带雨图像，将每对干净图像和合成带雨图像作为一个训练样本对，建立训练集；

步骤2，网络模型构建，所述网络模型包括粗糙雨线提取模块和精细雨线提纯模块，其中，粗糙雨线提取模块包括两个卷积层和两个ReLU激活函数层，用于实现对合成带雨图像的粗糙雨线提取；精细雨线提纯模块包括七个卷积层和四个ReLU激活函数，用于从带噪雨线图像中恢复出精细雨线图；

步骤3，利用步骤1中构建的训练集对网络模型进行训练，

步骤4，将待测试的带雨图像输入到训练好的网络模型中，获得相应的去雨图像。

进一步的，步骤2中的粗糙雨线提取模块的具体实现如下，

其中，E₁，E₂为两个卷积层，为卷积操作，r_∈为提取的带噪雨线图像，y为合成带雨图像。

进一步的，步骤2中精细雨线提纯模块的具体实现方式如下，

所述精细雨线提纯模块包括稀疏编码求解与HR特征重建两部分，其中稀疏编码是通过卷积方式求解如下最小化问题：