[发明专利]基于多尺度注意力蒸馏学习网络的图像去雨算法

说明书

本发明公开了基于多尺度注意力蒸馏学习网络的图像去雨算法。本发明提出了一个多尺度注意力蒸馏学习网络来探索图像尺度‑空间之间的关联性，并采用一种新的密集连接蒸馏结构来有效地学习并表征更丰富的特征，同时缓解梯度消失问题，加强特征传播，提高模型性能。本发明提出了一个多尺度注意力模块(MAB)和一个并行注意力蒸馏模块(CADB)。MAB使用不同大小的扩张卷积来提取不同尺度的特征。CADB结合通道注意和子空间注意机制来重新计算雨痕特征图，以减少无用的特征并保留空间和背景信息。

技术领域

本发明涉及电子领域，基于多尺度注意力蒸馏学习网络的图像去雨算法。

背景技术

雨水会造成严重的图像模糊和视觉质量下降。特别是雨雾、雨条纹与空气中的雨水颗粒一起叠加在背景上形成的类似面纱的视觉降质，大大降低了场景的对比度和能见度。因此，雨水天气下的图像复原已经成为后续任务的必要预处理步骤，如物体跟踪、场景分析、自动驾驶的路况检测等。近些年，单幅图像去雨在计算机视觉和模式识别领域引起了广泛的关注，在许多实际应用场景中，迫切需要复原雨水天气中的干净图像。

近年来，越来越多的研究人员关注单幅图像去雨的算法设计，所提出方法已经逐渐从模型驱动过渡到数据驱动。基于模型驱动的方法包括基于滤波的方法和基于先验的方法：其中基于滤波的方法是利用物理滤波来恢复干净图像，例如：利用双边滤波将雨天图像分为两部分：低频分量和高频分量，然后将低频分量和非雨天分量结合起来，得到有雨图像的复原结果；而基于先验的方法将有雨图像复原视为一个优化问题；利用低秩表示，然后通过混合特征集从原图像中分离出雨条纹并去除。但是基于模型驱动的方法只能滤除服从特定分布的噪声(如高斯噪声等)，得到的图像清晰度有限。因此所提出的物理模型均具有一定的局限性，不能较好的表达出雨天图像的主要特征，复原效果受到限制。与基于模型驱动的方法相比，数据驱动的方法则将图像去雨问题视为学习非线性函数的过程。联合雨水检测和去除网络，专注于去除大雨下重叠的雨条纹，但它会丢失一些纹理细节。为了避免丢失纹理细节，进一步提出了一个深度细节网络，然而该方法不能处理过多的密集雨条纹。随着卷积神经网络的普及。越来越多的基于卷积神经网络的方法被提出：为了缓解深度网络结构难以复现的问题，出现了一种简单有效的渐进式递归去雨网络。轻量金字塔网络，由较少的参数组成从而使网络变得简单。然而，大多数现有的单幅图像去雨网络都没有很好地注意到不同尺度下雨条纹的内部联系。挤压-激励网络采用了扩张卷积来获取背景信息，并使用递归神经网络来重塑雨水特征。最近有学者提出了一个多流扩张残差稠密网络的网络，该网络通过多尺度提取和残差密集连接更准确地获得雨条纹特征。与基于卷积神经网络的方法相比，基于生成对抗网络的研究方法起步较晚，生成对抗网络的引入是为了捕捉恶劣天气中一些不能被建模和合成的特性，以减少生成的结果与真实的干净图像之间的差距。直接将条件生成式对抗网络应用于单幅图像的去雨任务，结果呈现出更好的光照、颜色和对比度分布。但是，基于生成对抗网络的方法不善于捕捉图像的细节信息，因此对于具有多样化雨条纹的图像具有较差效果。最近为了进一步提高对真实有雨图像的恢复性能，半监督和无监督的学习方法已经被提出，这些方法直接从真实的雨水数据中学习特征，以此提高方法的泛化性和可扩展性。

通过上述分析，现有的单幅图像去雨方法并没有完全利用尺度-空间上的图像特征相关性，从而导致存在细节纹理和信息恢复效果差等问题。

发明内容

为了克服上述的不足，本发明采取如下技术方案：

本发明提出了一个端到端的多尺度注意力蒸馏学习网络来解决单幅图像去雨问题，该网络主要由多尺度注意力模块(MAB)和并行注意力蒸馏模块(CADB)组成，分别用于特征提取和蒸馏提炼。在特征提取阶段，首先应用一个卷积核大小为3*3的卷积层来提取浅层的原始图像特征，其结果也被作为一个MAB的输入。然后，原始图像特征通过密集连接依次通过8个MAB进行进一步的多尺度特征提取从而获取深层的图像特征。在蒸馏提炼阶段，将前7个MAB的输出进行特征拼接通过1*1的卷积调整通道数后作为CADB的输入，CADB对输入的特征信息进行校准提炼，过滤掉没用的特征信息。