[发明专利]基于注意力机制的残差单幅图像去雨方法

权利要求书

1.一种基于注意力机制的残差单幅图像去雨方法，其特征在于，包括以下具体步骤：

(1)对输入图像进行预处理，得到预处理后有雨图像；

(2)搭建注意力残差神经网络模型：

(2.1)采用卷积层、短跳跃连接组成的卷积残差块以及长跳跃连接构成残差网络模块，用于对预处理后有雨图像进行图像特征提取；

(2.2)构建编解码网络模块：

(2.2.1)由下采样和通道注意力模块SE_Block组成编码器网络，由上采样和通道注意力模块SE_Block组成解码器网络；

(2.2.2)编码器网络最底层的输出特征经过通道注意力模块SE_Block和卷积层处理后进入解码器网络中，其他层级上解码器网络与编码器网络对应层级的输出特征信息通过跳跃连接方式进行叠加融合，构成编解码网络模块；

(2.3)残差网络模块的输出连接编解码网络模块中编码器网络的输入，编解码网络模块中解码器网络的输出为雨纹信息；

(2.4)将步骤(1)得到的预处理后有雨图像与编解码网络模块输出的雨纹信息进行做差处理，输出去雨后无雨图像，完成注意力残差神经网络模型的搭建；

(3)采用预处理后有雨图像对注意力残差神经网络模型进行训练，并利用损失函数对其进行约束，然后采用反向传播进行参数更新，获得去雨神经网络模型；

所述损失函数具体为：

Loss＝Loss_{Smooth_L1}+λLoss_SSIM，

其中Loss_{Smooth_L1}表示光滑平均绝对误差损失函数，表达式如下：

其中，y_i表示输入的第i张无雨图像，x_i表示输入的第i张有雨图像，f(xi)表示第i张有雨图像经过注意力残差神经网络模型处理后的输出；

Loss_SSIM表示结构相似性损失函数，表达式如下：

Loss_SSIM＝1-SSIM(Y,F(x))，

其中，Y和x分别表示输入的无雨图像和有雨图像，F(x)表示输入的有雨图像x经过注意力残差神经网络模型处理后的输出；

SSIM表示结构相似性，表达式如下：

SSIM＝[g(Y,F(x))]^α·[c(Y,F(x))]^β·[s(Y,F(x))]^γ，

其中，g、c和s分别表示亮度、对比度和结构，α、β和γ分别表示亮度系数、对比度系数和结构系数；

(4)将待处理的有雨图像作为去雨神经网络模型的输入，利用去雨神经网络模型对图像进行去雨处理，输出去雨后干净图像。

2.根据权利要求1所述的方法，其特征在于：步骤(1)中预处理具体为：将输入图像的像素值归一化为[0，1]、像素大小裁剪为256*256*3。

3.根据权利要求1所述的方法，其特征在于：步骤(2.1)中的残差网络模块，采用1个卷积层、5个由短跳跃连接组成的卷积残差块以及1个长跳跃连接构成。

4.根据权利要求3所述的方法，其特征在于：所述卷积残差块公式如下：

x_L+1＝x_L+F(x_L+W_L)，

其中，x_L+1为第L+1层卷积层的卷积结果，x_L为第L层卷积层的卷积结果，W_L为第L层卷积层的权重，F(x_L+W_L)表示残差部分。

5.根据权利要求1所述的方法，其特征在于：步骤(2.2.1)中编码器网络由3次下采样和3个通道注意力模块SE_Block组成，用于逐级提取图像特征中的雨纹特征；解码器网络由3次上采样和3个通道注意力模块SE_Block组成，用于将编码器网络提取的雨纹特征逐级融合，得到雨纹信息。

6.根据权利要求5所述的方法，其特征在于：所述上采样具体由一个大小为3x3、步长为2的卷积层组成；所述下采样具体由一个大小为3x3、步长为2的转置卷积层组成；

所述通道注意力模块SE_Block由全局池化层、完全连接层、ReLU激活层、完全连接层以及Sigmoid层组成。