[发明专利]图像去雨方法、系统、终端及存储介质

说明书

本发明提供了一种图像去雨方法及系统，构建基于递归残差空洞空间金字塔池网络的图像去雨模型；构建训练样本集；采用所述训练样本集，对所述图像去雨模型进行训练，得到无雨图像生成模型；将不同尺寸的雨图输入至所述无雨图像生成模型，得到对应的去雨图像。同时提供了一种相应的终端及存储介质。本发明基于递归残差空洞空间金字塔池网络，有效解决雨天图像恢复的问题；通过对雨图中多尺度信息的提取和融合，使得恢复的无雨图像质量更高，并引入长短期记忆网络模块，增强阶段之间的依赖性；引入了混合损失函数，使得恢复的图像细节更加精细，边缘更加清晰；能够有效地提高去雨重建图像的结构相似度和峰值信噪比，并在主观上也取得了更好的效果。

技术领域

本发明涉及图像处理及重建技术领域，具体地，涉及一种基于递归残差空洞空间金字塔池网络的图像去雨方法、系统、终端及存储介质。

背景技术

随着科学技术的发展，人类社会正进入信息化社会。图像因其信息量大、传输速度快，已经成为人类利用信息的重要来源。近年来，计算机视觉系统正广泛应用于社会的各个领域。在计算机视觉的许多算法中，如图像分割、目标识别、行为检测等，都需要利用图像中的有效信息来实现。然而，在气象条件不好的情况下，如下雨，会导致户外的成像系统采集到的图像出现对比度下降、图像模糊、颜色失真等现象，直接影响到图像特征的提取，从而导致计算机视觉算法如目标识别、行为检测等的准确率下降。图像去雨属于图像处理技术，即从雨图中恢复出无雨的图像。图像去雨对于户外视觉系统的稳定工作有着重要的应用。

传统图像去雨算法，主要依赖雨条纹和背景场景的统计分析。这些算法都是通过在背景和雨层构建先验，然后使用成本函数优化。根据先验的提取方式，传统图像去雨算法主要分为稀疏编码算法和高斯混合模型。

近年来，卷积神经网络(Convolutional Neural Networks，CNN)在目标检测、图像分割等计算机视觉领域都取得了显著的进步，也有越来越多的人将CNN应用于图像去雨领域。基于深度学习的算法已经超过了传统的方法。这些方法利用深层网络自动提取层次特征，使得它们能够学习到从雨图到干净图像的更复杂的映射。2017年，Yang等人在Yang,Wenhan,Robby T.Tan,Jiashi Feng,Jiaying Liu,Zongming Guo,and Shuicheng Yan.Deep joint rain detection and removal from a single image.In Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition,pp.1357-1366.2017.中，将CNN应用在图像去雨领域，提出了一个联合的雨水检测和去除网络，该网络通过预测二进制雨水掩膜来检测雨水的位置，并采取一个递归的框架逐步清除雨条纹。同年，Fu等人在Fu,Xueyang,Jiabin Huang,Delu Zeng,Yue Huang,Xinghao Ding,andJohn Paisley.Removing rain from single images via a deep detail network.InProceedings of the IEEE Conference on Computer Vision and PatternRecognition,pp.3855-3863.2017.中，提出了一个深度细节网络，经过分解，将图像的高频细节输入网络中，并通过预测雨图和干净的图像之间的残差使得网络的训练更加容易和稳定。已经提出的深度学习图像去雨算法虽然解决了传统图像去雨算法计算复杂等问题。但是，当这些网络在处理一些在训练中从未见过的真实雨图时，往往不能恢复出较好的无雨图像。

经过检索发现：