[发明专利]一种基于深度学习的图像去雨方法及装置

说明书

本发明公开了一种基于深度学习的图像去雨方法及装置，所述方法包括：步骤S1，利用浅层卷积神经网络产生所有有雨图像的浅层特征图；步骤S2，将获得的浅层特征图输入至一个逐级下采样的多层编码器以进行编码；步骤S3，通过一个与上游的编码器结构对称、逐级上采样的多层解码器对编码后的特征图进行解码操作；步骤S4，对解码后的特征图进行细化处理，并预测有雨图像的雨条负残差信息；步骤S5，对所述有雨图像与雨条负残差信息求和，最终获得高质量无雨图像，本发明在有效地去除雨条信息的同时，能良好地保留场景细节信息。

技术领域

本发明涉及基于深度学习的计算机视觉技术领域，特别是涉及一种基于非局部特征增强编码器-解码器框架的图像去雨方法。

背景技术

图像去雨问题旨在去除图像场景中的雨条信息。近年来，由于深度学习方法在计算机视觉领域大放异彩，在数据和算法的共同推动下，图像去雨问题凭借其广泛的应用前景及学科探索性，吸引了越来越多研究者的关注。

早年的许多方法大多是基于先验信息的传统图像处理方法。如Huang等人在2012年的研究工作“Automatic single-image-based rain streaks removal via imagedecomposition”首次使用稀疏编码方法从有雨图像的高频信息中分解出雨条信息，随后一些基于稀疏编码的图像去雨方法相继提出；Chen等人在2014年的研究工作“A GeneralizedLow-Rank Appearance Model for Spatio-temporally Correlated Rain Streaks(ICCV)”假设雨条信息是低秩的；然而，该类方法基于较强的假设前提与低级别的手工特征表达，通常会造成图像过度平滑，无法保留场景细节信息。

而近年来，许多研究人员逐步开始将深度学习技术运用到图像去雨任务中，基于深度学习的方法大大改善了过度平滑和细节丢失带来的问题，如Fu等人于2017年的研究工作“Removing Rain from Single Images via a Deep Detail Network(CVPR)”以及Zhang等人于2018年的研究工作“Density-aware Single Image De-raining using a Multi-stream Dense Network(CVPR)”

现有的大多数深度模型的成功源于它们正确处理了不同图片中因不同密度雨条信息及与雨条相似结构的场景细节带来的不利影响，或是从有雨图像中分解出高频信息后进行有效建模。然而，这些方法无一例外的将卷积神经网络当作一个封装好的端到端映射模块，受限于已设计好的卷积层，无法充分利用特征图的空间相关性，导致无法完全去除有雨图像中的雨条信息或破坏与雨条结构相似的场景细节信息，即无法完全去除雨条以及过度去除雨条破坏场景细节是图像去雨面临的最根本挑战和技术瓶颈。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于深度学习的图像去雨方法及装置，以在有效地去除雨条信息的同时，且能良好地保留场景细节信息。

为达上述及其它目的，本发明提出一种基于深度学习的图像去雨方法，包括如下步骤：

步骤S1，利用浅层卷积神经网络产生所有有雨图像的浅层特征图；

步骤S2，将获得的浅层特征图输入至一个逐级下采样的多层编码器以进行编码；

步骤S3，通过一个与上游的编码器结构对称、逐级上采样的多层解码器对编码后的特征图进行解码操作；

步骤S4，对解码后的特征图进行细化处理，并预测有雨图像的雨条负残差信息；

步骤S5，对所述有雨图像与雨条负残差信息求和，最终获得高质量无雨图像。

优选地，于步骤S5后，还包括如下步骤：

根据生成的无雨图像与真实无雨图像的差值，进行梯度回传操作更新所述卷积神经网络参数。