[发明专利]图像去雨方法、系统、终端及存储介质

权利要求书

1.一种图像去雨方法，其特征在于，包括：

构建基于递归残差空洞空间金字塔池网络的图像去雨模型；

构建训练样本集；

采用所述训练样本集，对所述图像去雨模型进行训练，并利用自适应矩估计优化方法，通过混合损失函数对重建结果进行约束，得到无雨图像生成模型；

将不同尺寸的雨图输入至所述无雨图像生成模型，得到对应的去雨图像；

所述构建基于递归残差空洞空间金字塔池网络的图像去雨模型，包括：

采用一个卷积块，构建初步特征提取层，用于提取输入图像特征；

采用一个长短期记忆卷积块，构建相关性连接层；

采用一个残差块，构建初步特征融合层，用于融合所述输入图像特征；

采用残差空洞空间金字塔池网络，构建多尺度特征提取层，通过不同扩张率的并行扩张卷积对融合后的输入图像特征进行特征提取、融合以及级联，得到多尺度特征；

采用一个残差块，构建多尺度特征融合层，用于融合所述多尺度特征；

采用一个卷积块，构建输出层，用于输出重建的无雨图像；

将所述初步特征提取层、相关性连接层、初步特征融合层、多尺度特征提取层、多尺度特征融合层和输出层依次连接，构成一个阶段的图像去雨重建模块；

将多个阶段的图像去雨重建模块依次连接，形成递归网络结构，并通过所述相关性连接层增加各阶段之间的相关性，多阶段之间共享网络参数，最终形成具有多阶段结构的基于递归残差空洞空间金字塔池网络的图像去雨模型。

2.根据权利要求1所述的图像去雨方法，其特征在于，所述构建训练样本集，包括：

采用图像增广方法，对训练图片进行变换，形成训练样本对；

对所述训练样本对进行裁剪，构建形成训练样本集。

3.根据权利要求2所述的图像去雨方法，其特征在于，所述图像增广方法采用翻转的方法，对训练图片进行翻转变换。

4.根据权利要求2所述的图像去雨方法，其特征在于，所述对所述训练样本对进行裁剪，包括：

将所述训练样本对中的图像裁成分辨率为100×100的图像块。

5.根据权利要求1所述的图像去雨方法，其特征在于，所述利用自适应矩估计优化方法，通过混合损失函数对重建结果进行约束，包括：

通过混合损失函数从结构和语义两个角度对重建的无雨图像进行约束，其中负结构相似度损失是从结构角度进行约束，感知损失是从语义角度进行约束，表示如下：

其中，λ为项系数，是负结构相似度损失，用于约束重建的无雨图像和标准无雨图像的结构相似度，帮助图像重建结构信息；是感知损失，利用预先训练的损失网络的高级特征，使得模型恢复视觉上更好的结果；

所述负结构相似度损失定义如下：

其中，SSIM(·)为结构相似性，X^output是最终重建的无雨图像，X^gt是相应的标准无雨图像；

所述感知损失定义如下：

其中，Φ_j(X)是在ImageNet上预训练的VGG-16网络第j层的的特征图；C_j，H_j，W_j分别是Φ_j(X)的通道、高度和宽度。