[发明专利]一种基于注意力机制的单幅雨滴图像增强方法

权利要求书

1.一种基于注意力机制的单幅雨滴图像增强方法，其特征在于采用不同扩张因子的多尺度扩张卷积增强其感受视野，以获得更多的特征信息；模型引入注意力机制构造注意力机制模型来关注图像中雨滴区域，以此更好地去除雨滴，实现雨滴模糊类图像细节的恢复。

2.根据权利要求1所述的一种基于注意力机制的单幅雨滴图像增强方法，该方法包含步骤：

(1)初步提取特征。输入的图像进行两次卷积核尺寸为7*7*64、5*5*128且步长为1的卷积处理，得到初步提取到的特征。

(2)多尺度扩张卷积提取特征。三种扩张卷积处理后得到的三种特征。

(3)生成注意力图。将三种特征分别输入注意力机制模型，输出结果为三种注意力图，将三种注意力图与原图像做特征融合。

(4)输出图像。输出依次进行3次卷积核尺寸为3*3*256且步长为1的卷积处理、2次卷积核尺寸为4*4*128、4*4*64且步长为2的反卷积操作、卷积核尺寸为3*3*64且步长为1的卷积处理，最终输出除雨后的图像。

3.根据权利要求2所述的多尺度扩张卷积，该方法包含：卷积核3*3*256的扩张卷积，即dia_c1、dia_c2、dia_c3，扩张因子(dilation rate)的值分别为2，4，6。

4.根据权利要求2所述的注意力机制模型，该方法包含步骤：

注意力机制模型是由三层残差网络(ResBlock)、长短记忆神经网络(LSTM)和卷积层(conv)组成：

(1)残差网络：由于归一化(Batch Normalization)层会忽略图像特征间的绝对差异，我们所用的残差网络为传统残差网络结构中去掉归一化(Batch Normalization)层。

(2)长短记忆神经网络(LSTM)；

(3)卷积层：采用的是卷积核大小为3*3、步长为1的普通卷积。

5.根据权利要求1所述的一种基于注意力机制的单幅雨滴图像增强方法，其特征在于：所述抗网络损失L_adv和感知损失L_c为：

注意力机制模型损失L_att和感知损失L_p。

L_p＝L_MSE(VGG(O)，VGG(T)) (2)

使用VGG16对网络进行预训练，提取高层的特征进行监督来保证生成图像的质量，其中，A_t是注意力机制模型在时刻t时产生的注意力机制图，M为二进制掩码，N取4，θ取0.8，O为模型处理后输出的去雨滴图像，T为雨滴图像对应的原清晰无雨滴图像。

本文模型的总体损失函数为：

L＝L_att+L_p (3)。