[发明专利]基于多尺度沙漏密集连接网络的去雨方法、系统和介质

说明书

本发明提供的一种基于多尺度沙漏密集连接网络的去雨方法，首先利用多尺度沙漏并行结构对提取输入的特征图像进行多次采样，获取多尺度雨纹映射特征；其次，在多尺度沙漏结构中加入并行连接的空间和通道双注意模块并用残差跳连融合多层次特征，实现对雨纹层特征信息识别提取的自适应重校准；本发明在多尺度沙漏注意力残差模块间密集连接使不同深度网络层次间提取到的特征进行相互密集前向传递和特征融合；最终经多层次特征聚合得到全局丰富的雨纹层特征图，利用雨图线性叠加模型得到清晰的无雨背景层图像。本方明综合利用多尺度特征融合,双注意力机制和层次特征聚合，提高模型特征学习准确度，有效提取并去除雨纹层特征，获得清晰的去雨图像。

技术领域

本发明专利涉及计算机视觉图像处理技术领域，尤其涉及一种基于多尺度沙漏密集连接网络的去雨方法、系统和介质。

背景技术

雨天场景下拍摄的图像中的雨条纹往往会遮挡或模糊图像背景内容的关键信息，严重降低了图像质量，从而会进一步妨碍后续其他计算机视觉系统的工作性能，影响实际应用。因此，图像去雨任务是户外计算机视觉系统的重要前期预处理工作，引起了研究人员的广泛关注和重视。有效的去雨技术通常可以使得模糊带雨的图像恢复为清晰高质量的无雨图像，从而有效地提供更准确的检测或识别结果，对计算机视觉系统的性能有很大的促进和改善作用，其应用范围较广，应用前景十分开阔。

近年来，对于单幅图像去雨算法提出了各种研究，主要分为两类，第一类是基于模型的方法，又进一步可分为基于先验的方法和基于过滤器的方法。基于先验的方法包括稀疏判别，高斯混合模型和低秩表示等方法。基于滤波器的方法使用边缘和物理特性滤波器来得到无雨清晰干净背景图像。第二类是基于数据驱动的深度神经网络模型方法。与基于模型的方法不同，数据驱动方法将图像去雨问题表述为学习非线性函数并找到适当参数将雨纹部分映射到背景场景的过程。受深度学习的推动，研究人员用卷积神经网络(CNN)或生成对抗网络(GANs)构建映射函数。CNN方法直接获得从雨图像到清晰背景的确定性映射函数，GANs能根据输入的有雨图像产生无雨图像，合成具有视觉吸引力的清晰图像。Fu提出了一种名为DerainNet的去雨方法，将图像的高频部分输入到卷积神经网络中进行训练学习，但是该方法会造成图像色泽上的损失，在背景区域仍然存在雨条纹的残留痕迹。Zhang等人提出基于条件生成对抗网络(CGAN)的单幅图像去雨算法，但是复原的视觉效果不自然。RESCAN通过将网络上一阶段的输出作为下一阶段的输入迭代地多阶段多次重复去雨，但由于网络需要进行多次图像和特征之间的转换,降低了去雨效果。

通过上述分析，现有去雨算法存在雨纹残留或去雨过度、细节纹理恢复不自然等问题，这大大的影响了单幅图像去雨算法的实际应用。为了解决上述问题，本发明提出了基于多尺度沙漏密集连接网络的单图像去雨算法。通过多层不同尺度的注意力机制残差模块密集连接，建立一种称为MHAR-Net的多尺度沙漏密集连接网络，其中的多尺度沙漏结构提取多样尺度的雨纹特征信息，同时引入通道和空间双注意力模块并行连接，更好地利用多尺度信息和特征注意。多尺度沙漏双注意模块单元内残差跳转连接实现浅层特征融合，，提高雨特征表示能力；另外多个多尺度沙漏注意模块密集连接，充分利用图像的特征且，使深层网络可以利用浅层的特征,增大信息的流动,实现多层次特征的重用和聚合，保证快速提取更多图像的细节和关键信息，实现复杂雨环境下的去雨处理，并尽量复原图像的细节和空间信息，减小色彩失真、亮度损失，去雨过度等问题。

发明内容

本发明的目的是为了解决上述现有图像去雨技术的些许缺点和不足，提供一种基于多尺度沙漏密集连接网络的端到端映射的单图像去雨方法，经多层次特征提取和聚合得到全局丰富的雨纹层特征图，进而利用雨图线性叠加模型得到清晰的无雨背景层图像。

本发明第一方面提供了一种基于多尺度沙漏密集连接网络的去雨方法，包括：

获取合成的图像去雨样本数据集，得到数据集合，用于网络模型的训练；

构建多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，所述网络模型包括三个卷积核大小为3的卷积层和四个多尺度沙漏注意力残差模块单元；