[发明专利]基于循环生成对抗网络的单幅图像去雨方法

说明书

本发明公开了一种基于循环生成对抗网络的单幅图像去雨方法，首先构建DCycleGAN模型；然后设计DCycleGAN模型的损失函数；其次采用成对和未成对两种训练方式训练DCycleGAN模型；最后将测试集输入训练好的DCycleGAN模型，获得去雨后的干净图像，完成单幅图像去雨任务。本发明采用分解的思想，支持使用成对和未成对两种方式进行训练，能够解决循环生成对抗网络在图像去雨时使用未成对训练可能出现的色彩偏移和背景模糊问题，在成对训练方式上的评估指标优于现有方法。

技术领域

本发明属于图像处理领域，具体涉及一种基于循环生成对抗网络的单幅图像去雨方法。

背景技术

雨是现实生活中非常普遍的天气，不仅影响人类的视觉，而且还会严重影响计算机系统的准确性。特别是在大雨中，来自各个方向的雨水累积，使背景图像朦胧，这种影响会显著降低依赖于图像特征提取、视觉建模的户外系统的性能，包括视频监控，物体检测和自动驾驶等等。因此去除图像中的雨痕并从雨水图像中恢复背景是一项重要的图像处理任务。

单幅图像去雨工作的难点在于雨痕方向、密度、大小、形状不一致，而且，图像去雨问题是一个病态问题，因为没有对应的真值图。另外，当雨痕颜色和图像背景相似时，使用现有方法会出现背景模糊和图像中残留雨痕的问题。

目前主要的单幅图像去雨方法分为两类：基于先验的方法和基于深度学习的方法。基于先验的方法主要探索雨痕的物理特性并将其建模为信号分离问题，以及直接进行图像滤波的问题，如基于低秩表示的方法和基于稀疏编码的方法等等。由于这些模型是基于先验假设的低级特征固定雨条纹，也只能除去特定的形状、规模和密度的雨痕。基于深度学习的去雨方法使用合成数据集输入深度神经网络，这种方法最大的缺陷是合成数据集与现实雨图像之间有一定的分布间隙。因此，单幅图像去雨任务仍然是一项具有挑战性的难题。

发明内容

本发明的目的在于提供一种基于循环生成对抗网络的单幅图像去雨方法，采用分解的思想，支持使用成对和未成对两种方式进行训练，能够解决循环生成对抗网络在图像去雨时使用未成对训练可能出现的色彩偏移和背景模糊问题，并且能够在成对训练方式的评估指标上优于现有的方法。

实现本发明目的的技术方案为：一种基于循环生成对抗网络的单幅图像去雨方法，包括以下步骤：

步骤1、构建DCycleGAN模型，具体步骤为：

步骤11、选取循环生成对抗网络中的生成器和鉴别器作为DCycleGAN模型的生成器和鉴别器的基础骨架；

步骤12、将步骤11获得的生成器修改成编解码结构，并消除其中含有的批量归一化操作；

步骤13、设计DCycleGAN模型的体系结构由两个生成器和两个鉴别器组成，每个生成器和鉴别器的结构通过步骤11和步骤12确定；

步骤14、将模型结构分为两个学习过程:从雨图像到干净背景图像的学习过程和从干净背景图像到雨图像的学习过程；每个学习过程均采用雨图像分解为干净背景图像和雨痕的思想；

步骤15、在从雨图像到干净背景图像的学习过程中，首先将输入的雨图像输入生成器G1获得生成的干净背景图像，将输入的雨图像输入生成器G2获得生成的雨痕图像，然后将生成的干净背景图像输入鉴别器D1判断是否是真实的干净背景图像，最后将生成的干净背景图像和生成的雨痕图像相加获得重建的雨图像；

步骤16、在从干净背景图像到雨图像的学习过程中，首先将输入的干净背景图像和步骤15中生成的雨痕图像相加获得合成的雨图像，然后将合成的雨图像输入鉴别器D2判断是否是真实的雨图像，最后将合成的雨图像输入生成器G1获得重建的干净背景图像；

步骤2、设计DCycleGAN模型的损失函数；

步骤3、采用成对和未成对两种训练方式训练DCycleGAN模型；