[发明专利]基于注意力机制的残差单幅图像去雨方法

说明书

本发明公开了一种基于注意力机制的残差单幅图像去雨方法，主要解决现有单幅图像去雨技术存在局限性、处理效果不理想的问题。其方案包括：1)对输入图像进行预处理，得到预处理后图像；2)构建包括残差网络模块和编解码器网络模块的注意力残差神经网络模型；3)将预处理后图像输入注意力残差神经网络模型进行训练，利用损失函数对注意力残差神经网络模型进行约束，然后反向传播进行参数更新，得到训练好的去雨神经网络模型；4)将待处理的有雨图像输入去雨神经网络模型中进行图像处理，得到无雨清晰图像。本发明能够有效去除单幅含雨图像中的雨纹，得到清晰图像；同时，对于原图中的背景信息实现充分保留。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于注意力机制的残差单幅图像去雨方法，可用于单幅图像的清晰化处理。

背景技术

视觉作为人类最重要的感知系统之一，是我们获得知识的主要来源。随着图片和视频在互联网时代传播越来越丰富，图像成为了我们生活的重要组成部分。因此，计算机视觉在当今时代的背景下是一门非常重要学科，它是我们生活中各领域的一个重要组成部分，如制造业，军事工业和各种智能系统领域。

在恶劣天气的环境下，人们拍摄到的图片或者视频中常常会因为雨、雪、雾而受到干扰、变得模糊。获取到的图片或视频信息有不同程度上的损坏，甚至图片的主体也会受到严重的干扰。变化多端的天气主要包括雨雪，烟雾和沙尘。相对于烟雾和沙尘，雨水是一种更加无序的图片噪声，它时刻变化而且还会随着雨势的大小对图片造成不同影响。例如小雨会造成图片某些区域有亮白色的雨线，而大雨则会对整张图像产生遮挡或严重模糊的影响。所以，针对雨水的去除工作是图像去噪、图像修复领域中难度较高的一项工作。

雨水属于动态天气——由于它的组成颗粒相对较大，相机可以很容易地捕捉到它。由于在户外视觉系统中引入了非预期的视觉伪影，会对后续的图像匹配等计算机视觉任务产生不利影响。雨滴通常会在图像上产生密集的条纹，这些条纹具有不可预测性，如方向、降雨强度、不均匀的降雨密度等。因此，由这些密集条纹引起的复杂像素变化和附加梯度会掩盖图像中传递的有利信息，阻碍可靠特征的有效检测。

然而，雨水作为我们生活中最为常见的自然现象，发生频率非常高，特别在南方梅雨季节，会有连续的降雨发生。由此可见，对于图像去雨的研究非常具有现实意义。

近年来，图像去雨任务关注度极高，总的来说图像去雨的任务可大致可分为两类：1)基于视频的方法和2)基于单幅图像的方法。

陈军在其申请的专利“一种基于多尺度混合指数模型的视频去雨方法”(申请号：CN201910298090.X，公开号：CN110070506A)中公开了一种基于多尺度混合指数模型的视频去雨方法。通过建立单一尺度下的雨视频统计模型，对其优化获取去雨视频，再进一步对各个尺度的去雨视频采用金字塔分解重构，加和平均得到最终结果；针对静止摄像机所拍摄的视频，采用该方法可以有效去除雨水条纹，然而，对于由移动摄像机所拍摄的视频，该方法具有很大局限性，并不适用。

丁兴号在其申请的专利“基于卷积神经网络的单幅图像去雨方法”(申请号：CN201610592134.6，公开号：CN106204499A)中公开了一种基于卷积神经网络的单幅图像去雨方法，该方法通过screen blend model对干净的清晰图像人工加雨，建立图像库；接着从图像库中取出有雨无雨图像块对，将其作为训练样本进行网络训练；最后对单幅有雨图像重叠地取块，输入训练好的去雨滤波系统中，获取相应的无雨图像块并加权平均，得到无雨图像。该方法的不足之处在于设计的卷积神经网络结构过于简单，并不能达到较好的去除效果。

发明内容