[发明专利]一种基于多尺度字典学习的单图像去雨方法

权利要求书

1.一种基于多尺度字典学习的单图像去雨方法，其特征在于，包括如下步骤：

步骤1，根据已有干净图像，通过添加雨线得到对应合成带雨图像，将每对干净图像和合成带雨图像作为一个训练样本对，建立训练集；

步骤2，网络模型构建，所述网络模型包括粗糙雨线提取模块和精细雨线提纯模块，其中，粗糙雨线提取模块包括两个卷积层和两个ReLU激活函数层，用于实现对合成带雨图像的粗糙雨线提取；精细雨线提纯模块包括七个卷积层和四个ReLU激活函数，用于从带噪雨线图像中恢复出精细雨线图；

步骤2中的粗糙雨线提取模块的具体实现如下，

其中，E₁，E₂为两个卷积层，为卷积操作，r_∈为提取的带噪雨线图像，y为合成带雨图像；

步骤2中精细雨线提纯模块的具体实现方式如下，

所述精细雨线提纯模块包括稀疏编码求解与HR特征重建两部分，其中稀疏编码是通过卷积方式求解如下最小化问题：

其中，f_j，i表示第j个字典的第i个滤波器核，f_j，i为三组滤波器组，即j＝3，实际含义为三个不同尺度的雨线字典，记为S₁、S₂、S₃，其转置字典记为G₁、G₂、G₃，其中S₁、S₂、S₃、G₁、G₂、G₃均由卷积层实现，c为分解的通道数，z_j，i为待求解的卷积稀疏编码，||·||₁，||·||₂分别表示l₁范数与l₂范数，λ为稀疏惩罚系数；

取得稀疏编码后，重建出去噪后的雨线图：

其中，E₃为一个卷积层，r为最终恢复的精细雨线图像；

利用卷积与矩阵相乘的关系将式(2)转化为传统稀疏编码问题，并且在非负稀疏编码假设下，采用ISTA算法求解，

其中，为中间符号，指阈值，t为迭代次数；

具体流程为：首先将均初始化为r_∈，r_∈为特征提取模块提取的带噪雨线图像；计算分别经过S₁、S₂、S₃的和，将此和从r_∈中减去，将上述差值分别经过G₁、G₂、G₃后再分别与相加，得到重复上述过程，得到即为最终的卷积稀疏编码，其中t为迭代次数；重建时，计算分别经过S₁、S₂、S₃的和，此和经过ReLU后再经过E₃，即恢复出精细的雨线图像；

步骤3，利用步骤1中构建的训练集对网络模型进行训练，

步骤4，将待测试的带雨图像输入到训练好的网络模型中，获得相应的去雨图像。

2.如权利要求1所述的一种基于多尺度字典学习的单图像去雨方法，其特征在于：步骤3中将全局残差学习引入到网络模型中，并选择MSE损失函数，以最小化此损失函数为训练目标，MSE损失函数的表达式如下：

其中，Θ是指网络模型参数，l为训练集中训练样本的索引，y_l-r_l为网络模型输出的去雨图像，与真实的干净图像x_l做差并累加得到最终误差，使得最终误差最小化实现网络模型的优化。

3.如权利要求1所述的一种基于多尺度字典学习的单图像去雨方法，其特征在于：步骤1中采用翻转、旋转、缩放、裁剪的手段增加训练集中的图像数量，然后通过Photoshop对每个干净图像添加雨线，得到合成带雨图像，将对应的干净图像和合成带雨图像作为一个训练样本对。