[发明专利]基于选择性注意力机制的图像去雾和去雨算法

权利要求书

1.一种基于选择性注意力机制的图像去雾和去雨算法，其特征在于，包括扩充训练样本、在训练集上训练网络、对测试图片进行去雾/去雨，具体步骤如下：

步骤A：去雾数据集采用RESIDE数据集，去雨数据集采用Rain100H和Rain100L数据集，将数据集中训练集中一部分图片作为验证集，将训练集中剩下的图片进行裁剪，截取，旋转操作，对原有数据集进行扩充，生成一个更大的数据集；

步骤B:搭建去雾/去雨网络，使用步骤A中生成的数据集作为网络的输入，输出为复原后的清晰图像，初始权重采用xavier初始化，损失函数采用L1损失和结构相似性联合损失函数进行训练，观察训练集和验证集的训练情况，得到训练好的网络权重；

步骤C:将测试集图片作为步骤B中训练好网络的输入，得到去雨或去雾后的图像。

2.根据权利要求1所述的基于选择性注意力机制的图像去雾和去雨算法，其特征在于，所述步骤A具体包括以子步骤：

步骤A01.去雾数据集采用RESIDE室内数据集，去雨数据集采用Rain100H和Rain100L数据集，将数据集的训练集中一部分图片作为验证集；

步骤A02.将剩下的训练集进行裁剪，截取，旋转操作进行对原有数据集进行扩充，使去雾和去雨数据集中图片大小分别为640*460和100*100。

3.根据权利要求1所述的基于选择性注意力机制的图像去雾和去雨算法，其特征在于，所述步骤B具体包括以下步骤：

步骤B01.去雾先要对图片进行一次下采样后进行提取特征，而去雨直接在原图上进行提取特征；

步骤B02.得到预处理的特征图之后，两种方法都经过若干个选择性注意力模块进行特征提取，具体操作如下：

先将输入分两个支路进行通道注意力和空间注意力两个模块处理，将处理过后的特征图F_CW和F_SC进行横向连接得到U_F：

U_F＝(F_cw,F_sc) (1)

将拼接后的特征图U_F经过一个GlobalAveragePooling2d得到64维特征S_F，然后依次经过输入通道为64，输出通道为8的1×1卷积层C₁，非线性激活层Relu层,输入通道为8，输出通道为32的1×1卷积层C₂，以及通过一个softmax层得到两个权值a_c和b_c，公式如下：

z＝C₂(σ(C₁(S_F))) (3)

其中，H和W是输入特征图的高和宽，i和j是特征图像素点的位置，σ是非线性激活层，A_C和B_C是注意力层中参数；

分别将a_c和b_c与通道注意力模块F_CW和空间注意力F_SC相乘，然后进行横向连接，得到融合后特征图V_F：

V_F＝(a_c*F_cw,b_c*F_sc) (5)

最后将V_F通过卷积核为1的卷积层将64维降为32，作为下一个选择性注意力模块的输入；

步骤B03.搭建步骤B02中的通道注意力模块网络，具体操作如下：

网络的输入为32×100×100的特征，先经过一个GlobalAverage Pooling2d得到32维特征S_F：

其中，F是输入特征；

然后S_F依次经过输入通道为64，输出通道为8的1×1卷积层C₁，非线性激活层Relu层,一个输入通道为8，输出通道为32的1×1卷积层C₂，以及通过一个sigmoid层数值映射到[0,1]，最后与原先特征图F相乘，得到经过通道注意力模块优化后的特征图F_CW：

F_CW＝F*δ(C₂(σ(C₁(S_F)))) (7)

其中，F是输入的特征图，σ是非线性激活层；

步骤B04.搭建步骤B02中的空间注意力模块网络，具体操作如下：

在空间注意力模块中，使用两个支路,主支路T(F)用来提取底层细节，M(F)为空间注意力图，并采取残差连接来加速网络收敛，公式为：

F_SC＝T(F)*M(F)+F (8)

主支路T(F)采用两个残差卷积块堆叠，一个残差卷积块具体为:核为3，padding为1的卷积层，非线性激活层，核为3，padding为1的卷积层，公式为：

其中，为普通卷积层，σ是非线性激活层；

而注意力图M(F)为了扩展感受野，将残差卷积块中多增加一个空洞率为2的空洞卷积，最后通过一个sigmoid层，公式为:

其中，为空洞率为2的卷积层。

4.根据权利要求1所述的基于选择性注意力机制的图像去雾和去雨算法，其特征在于，所述步骤C具体包括以下步骤：将数据集中的测试集部分输入到网络中，设置batchsize的大小为1，得到去雾/去雨后的图片。