[发明专利]基于密集多尺度生成对抗网络的单幅图像去雨滴方法

说明书

本发明公开了一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，将用特征重用的密集网络构建多尺度图像修复模型，并结合利用所述多尺度图像修复模型构建带注意力机制的判别网络模型，组成多尺度生成对抗网络模型，获取原始有雨图像、原始无雨图像和残差雨滴层，将所述原始无雨图像和所述残差雨滴层输入所述判别网络模型，利用所述判别网络模型与所述生成网络模型的误差，反向传播交替训练所述多尺度生成对抗网络模型，直到所述判别网络模型和所述生成网络模型的误差收敛到设定范围后停止训练，利用训练好的所述生成网络模型生成去雨滴模型，去除单幅图像中相对较大和较密集的雨滴。

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法。

背景技术

在基于无人机的视频监控和自动驾驶汽车等许多应用中，附着在玻璃窗、挡风玻璃或镜头上的雨滴会妨碍背景场景的可见性，降低图像质量。主要是因为雨滴区域包含的图像与没有雨滴区域的图像不同，而且，在大多数情况下，照相机的焦点位于背景场景下，使雨滴的外观模糊不清，目前已经提出了一些方法来解决雨滴检测和去除问题，致力于探测雨滴，但不去除掉它们，其他方法被引入使用立体声、视频或专门设计的光学快门来检测和去除雨滴，但是不适用于普通相机拍摄的单个输入图像。在深度学习的方法中，有用一张图像去除雨滴或灰尘的方法，但是只能处理小雨滴，产生的效果并不好，不能处理相对较大和较密集的雨滴。

发明内容

本发明的目的在于提供一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，去除单幅图像中相对较大和较密集的雨滴。

为实现上述目的，本发明提供了一种基于密集多尺度生成对抗网络的单幅图像去雨滴方法，包括：

通过密集网络构建多尺度图像修复模型；

利用所述多尺度图像修复模型构建判别网络模型；

结合所述判别网络模型和生成网络模型组成多尺度生成对抗网络模型；

利用误差反向交替训练所述多尺度生成对抗网络模型；

利用训练好的所述生成网络模型生成去雨滴模型，去除雨滴。

其中，所述通过密集网络构建多尺度图像修复模型，包括：

利用特征重用的密集网络构建多个端到端的单尺度图像修复模型，将多个所述单尺度修复模型组合，形成多尺度图像修复模型。

其中，所述得到多个单尺度图像修复模型之后，所述方法还包括：

获取原始有雨图像和原始无雨图像，利用所述多尺度图像修复模型分别对原始有雨图像和原始无雨图像进行下采样和上采样处理，直至最后一个所述单尺度图像修复模型。

其中，利用所述多尺度图像修复模型构建判别网络模型，包括：

利用所述多尺度图像修复模型修复残差雨滴层时，残差雨滴层通过卷积操作形成带注意力机制的判别网络模型对修复的图像进行判别。

其中，结合所述判别网络模型和生成网络模型组成多尺度生成对抗网络模型，包括：

将多个所述多尺度图像修复模型进行串联，得到生成网络模型，利用所述生成网络模型输出的残差雨滴层加入所述判别网络模型组成多尺度生成对抗网络模型。

其中，所述形成多尺度生成对抗网络模型之后，所述方法还包括：

获取原始有雨图像、原始无雨图像和残差雨滴层，向所述多尺度生成对抗网络模型输入原始有雨图像得到去雨滴图片和去雨滴残差雨滴图片，将原始无雨图像和残差雨滴层作为第一组图片，将去雨滴图片和去雨滴残差雨滴图片作为第二组图片，将第一组图片和第二组图片分别输入判别网络模型，并输出对应的理想判别值，所述生成网络模型和所述判别网络模型相互对抗，直到去雨滴图片无限接近原始无雨图像。