[发明专利]基于深度残差网络的图像去雾去雨方法

说明书

本发明涉及一种基于深度残差网络的图像去雾去雨方法。首先，通过上下文感知编码模块聚合有雾图像像素点的上下文信息，并编码为特征图；然后，采用非线性转换模块来提取图像高级特征；接着，采用雾气浓度解码模块将特征图解码以获得无雾图像和有雾图像之间的残差；最后，将输入的有雾图像加上残差图像来获得去雾结果。本发明能够去除图像中的雾气或者雨水，使得图像场景更清晰、图像细节更丰富，可应用于雾天和雨天交通监控、目标跟踪、自主导航等场合。

技术领域

本发明于图像处理技术领域，具体涉及一种基于深度残差网络的图像去雾去雨方法。

背景技术

随着大气污染的加重，雾霾天气出现的频率越来越高。雾霾天气下，大气中悬浮的细微颗粒以及水滴会对光线产生吸收、散射和折射等作用，使得雾天生成的图像场景不清晰、图像细节丢失，限制了雾天图像和视频在交通监控、目标跟踪、自主导航等领域的应用。为此，雾天图像的清晰化处理至关重要。图像去雾就是一类研究雾天图像清晰化的技术。近些年来，研究者们提出了一系列的图像去雾算法。这些算法可以大致分为：传统的基于先验的算法^[1-6]、基于学习的算法^[7-9]。它们之间的主要区别在于：基于先验的算法设计描述子提取图像特征，而基于学习的算法通过卷积神经网络(Convolutional Neural Network,CNN)自动提取图像特征。

传统的图像去雾算法致力于估计有雾图像中的透射率t(x)和大气光值α，然后使用大气散射模型来推导去雾结果。经典大气散射模型的定义为：

I(x)＝J(x)t(x)+α(1-t(x))

其中，I(x)代表有雾图像，J(x)代表无雾图像。然而，透射率的估计至今仍然是个难题，特别是当物体的颜色近似于大气光时，透射率的准确估计愈发困难。而图像去雾的效果与透射率估计的准确程度密切相关。此外，传统图像去雾算法不够稳健，比如，著名的暗通道先验方法(DarkChannelPrior,DCP)[1]在天空区域的去雾容易出现颜色失真。

随着深度学习技术的蓬勃发展，越来越多的研究人员使用卷积神经网络(CNNs)探索图像去雾问题。基于CNN的算法往往比传统算法的去雾效果更好。

发明内容

本发明的目的在于提供一种基于深度残差网络的图像去雾去雨方法，该方法能够去除图像中的雾气或者雨水，使得图像场景更清晰、图像细节更丰富，可应用于雾天和雨天交通监控、目标跟踪、自主导航等场合。

为实现上述目的，本发明的技术方案是：一种基于深度残差网络的图像去雾去雨方法，建立深度网络模型，包括上下文感知编码模块、非线性变换模块、雾气浓度解码模块；首先，通过上下文感知编码模块聚合有雾图像像素点的上下文信息，并编码为特征图；然后，采用非线性变换模块来提取图像高级特征；接着，采用雾气浓度解码模块将特征图解码以获得无雾图像和有雾图像之间的残差；最后，将输入的有雾图像加上残差图像来获得去雾结果。

在本发明一实施例中，所述通过上下文感知编码模块聚合有雾图像像素点的上下文信息，并编码为特征图的具体实现过程如下：

上下文感知编码模块首先采用多尺度神经网络聚合像素点的上下文信息，即分别采用64个大小为3×3的卷积核、32个大小为5×5的卷积核、32个大小为7×7的卷积核对输入图像进行卷积操作，然后将它们拼接在一起构成128个通道的初始特征图；初始特征图的宽高定义为：

W'＝(W-F+2P)/S+1

H'＝(H-F+2P)/S+1

其中，W'和H'分别表示初始特征图的宽度和高度，F代表卷积核大小，S代表步长，P代表特征映射中填充的周围层数；由上述两式可知，可使用P来确保不同F获得的初始特征图大小相同，初始特征图经过大小3×3、步长为2的卷积核进行卷积操作，并使用组归一化和激活函数，依次得到256、512个通道的处理结果。