[发明专利]一种基于复合残差网络和深层监督的单幅图像去雨方法

权利要求书

1.一种基于复合残差网络和深层监督的单幅图像去雨方法，其特征在于，包括以下步骤：

S1、构建训练集，收集自然场景下带有多个方向的雨的图像以及对应的干净的图像；

S2、预处理，从训练集中随机选取图像对作为网络的输入；

S3、提取特征，将带有雨的图像块输入到包含多个残差模块的复合残差网络中进行处理，得到多层次特征；

S4、图像重构，将每个残差模块的输出特征进行拼接后，输入到一个卷积层后得到三通道图像，取这个三通道图像为最终的复原图像；

S5、使用干净图像对每个残差模块的输出进行监督，即深层监督，以优化网络参数；

所述步骤S3，具体步骤如下：

1)输入图像I，将I经过一个卷积层conv0，卷积核大小为3*3，步长为1，得到输出特征X1；

2)将X输入残差模块RBLK1中，RBLK1包含三个卷积层，每个卷积层的卷积核大小为3*3，步长为1，除去最后一个卷积层，其它卷积层之后接一个激活函数relu，经过三层卷积后的输出特征与该模块RBLK1的输入进行相加，得到RBLK1的输出特征图X1；

3)将X1输入残差模块RBLK2中，RBLK2包含两个卷积层，每个卷积层的卷积核大小为3*3，步长为1，除去最后一个卷积层，其它卷积层之后接一个激活函数prelu，经过三层卷积后的输出特征与该模块RBLK2的输入进行相加，得到RBLK2的输出特征图X2；

4)将X1和X2相加后输入残差模块RBLK3中，RBLK3包含三个卷积层，每个卷积层的卷积核大小为3*3，步长为1，除去最后一个卷积层，其它卷积层之后接一个激活函数prelu，经过三层卷积后的输出特征与该模块RBLK3的输入进行相加，得到RBLK3的输出特征图X3；

5)将X1，X2和X3相加后输入残差模块RBLK4中，RBLK4包含三个卷积层，每个卷积层的卷积核大小为3*3，步长为1，除去最后一个卷积层，其它卷积层之后接一个激活函数prelu，经过三层卷积后的输出特征与该模块RBLK4的输入进行相加，得到RBLK4的输出特征图X4；

6)与步骤4)、5)类似，得到特征X5，X6，X7，X8，X9，X10；

7)由于每个残差模块能够看成一个整体的单元，每一个单元都将输出跳接到后面的每个单元中，构成了外部的残差结构，因此称之为复合残差网络。

2.根据权利要求1所述基于复合残差网络和深层监督的单幅图像去雨方法，其特征在于，步骤S1中，所述训练集的构建通过如下方式：

收集现有的公开数据集，该数据集中包含了多个方向的雨线；

利用计算机视觉任务中已有的自然图像库，结合雨线合成方法，自身合成所需要的训练数据集。

3.根据权利要求2所述基于复合残差网络和深层监督的单幅图像去雨方法，其特征在于，所述现有的公开数据集包括RianH。

4.根据权利要求1所述基于复合残差网络和深层监督的单幅图像去雨方法，其特征在于，步骤S2中，所述预处理，具体步骤如下：

随机选取训练数据集的图像对，将图像对进行变换；

随机切取图像对，得到裁剪后为256*256的大小的图像块，并将图像对进行正则化处理。

5.根据权利要求4所述基于复合残差网络和深层监督的单幅图像去雨方法，其特征在于，所述将图像对进行变换，包括旋转、放大、缩小。

6.根据权利要求1所述基于复合残差网络和深层监督的单幅图像去雨方法，其特征在于，所述步骤S4，具体为：

将每个残差模块的输出特征-X1，X2，X3，X4，X5，X6，X7，X8，X9，X10进行拼接后，分别输入到卷积层conv11中，其中卷积核大小为3*3，步长为1，其后均接一个relu激活函数，得到的3通道的彩色图像作为最终复原的图像。

7.根据权利要求1所述基于复合残差网络和深层监督的单幅图像去雨方法，其特征在于，步骤S5中，所述深层监督体现为在损失函数中，对每个模块的输出都与干净图像求均方差，然后将梯度反向传播到网络中。