[发明专利]一种基于注意力机制的单幅雨滴图像增强方法

说明书

本发明公开提供了一种基于注意力机制的单幅雨滴图像增强方法，方法包括：数据集预处理；采用具有不同扩张因子的多尺度扩张卷积进行特征提取；引入注意力机制模型来关注图像中雨滴区域的细节。本发明提供的方法，能够很好地去除雨滴类图像中的雨滴部分，使雨滴类模糊图像具有较好的质量。

技术领域

本发明涉图像增强领域，尤指一种单幅雨滴图像增强方法。

背景技术

在有雨环境下采集到的图片往往会掺杂雨滴或雨条纹，导致图片模糊，而现有去除雨滴实现图像增强算法容易引入更多噪声或不能去除较大雨滴，为更好地去除图像上的雨滴，恢复图像更多细节，发明人提出了一种基于注意力机制的单幅雨滴图像增强方法。

扩张卷积(Dilated Convolutions)又称膨胀卷积或空洞卷积，与其他卷积方式不同的是扩张卷积引入了一个新参数-扩张率参数即扩张因子(dilation rate)，用其表示扩张的大小。

扩张卷积的结构如图1所示。如Yu等人提到，设F₀，F₁，....，F_n-1：Z₁→R为离散函数，令K₀，K₁，....，K_n-2：Z₂→R为离散3*3滤波器，考虑应用指数增加膨胀的滤波：

F_i+1＝F_i×2′k_i，i＝0，1，2，....，n-2 (1)

将F_i+1中元素p的像素感受野区域定义为在F₀基础上修改F_i+1(p)值的元素值，假设F_i+1中的像素p的感受野大小为这些元素的数量，可以将像素中在扩张卷积下的感受野大小表示为：

F_i+1＝(2ⁱ⁺²-1)×(2ⁱ⁺²-1) (2)

扩张卷积可以对像素进行加权，聚合信息，从而能够在不失去分辨率的情况下增强其感受视野，能够获得更多的特征信息，并可以保证输出的特征映射的大小不发生变化。

视觉注意力机制是人类大脑中特有的视觉信号处理机制，注意力机制思想的本质类似人类的视觉注意力，主要意义是对大量的信息进行筛选，选择对当前任务相关的关键性高价值信息。注意力机制思想最早是被应用在计算机图像视觉研究上，近些年越来越多的研究者使用注意力机制思想与神经网络相结合进行相关问题研究。

因此，借助注意力机制思想，提出一种基于注意力机制的单幅雨滴图像增强方法，以期能有效地提高雨滴类模糊图像增强，使得图像细节更加丰富，能具有较好的图像视觉效果。

发明内容

为解决上述问题，本发明主要目的在于，提供一种有效地提高雨滴模糊图像增强，使图像的细节更加丰富。

本发明采取了如下的技术方案：首先采用具有不同扩张因子的多尺度扩张卷积对输入含雨滴图片进行特征值提取；其次，模型中引入注意力机制来关注图像中雨滴区域的细节，以帮助更好地去除雨滴，恢复图像的细节：最后，端到端地实现雨滴类的模糊图像增强。

该方法包含的步骤如下：

(1)对数据集图片进行统一的分辨率大小处理，划分出训练集和测试集。

(2)建立基于注意力机制的雨滴模糊图像增强模型，并对网络的参数进行初始化。

(3)利用划分出的训练集对模型进行训练，通过损失函数进行反向传播不断更新模型参数，使计算出的损失最小，以使模型得性能效果最优。

(4)每50对图片为一次训练，设置的最大迭代次数为3000，保存模型参数，使用测试集测试模型。