[发明专利]基于深度残差网络的图像去雾去雨方法

权利要求书

1.一种基于深度残差网络的图像去雾去雨方法，其特征在于，建立深度网络模型，包括上下文感知编码模块、非线性变换模块、雾气浓度解码模块；首先，通过上下文感知编码模块聚合有雾图像像素点的上下文信息，并编码为特征图；然后，采用非线性变换模块来提取图像高级特征；接着，采用雾气浓度解码模块将特征图解码以获得无雾图像和有雾图像之间的残差；最后，将输入的有雾图像加上残差图像来获得去雾结果；

所述通过上下文感知编码模块聚合有雾图像像素点的上下文信息，并编码为特征图的具体实现过程如下：

上下文感知编码模块首先采用多尺度神经网络聚合像素点的上下文信息，即分别采用64个大小为3×3的卷积核、32个大小为5×5的卷积核、32个大小为7×7的卷积核对输入图像进行卷积操作，然后将它们拼接在一起构成128个通道的初始特征图；初始特征图的宽高定义为：

W'＝(W-F+2P)/S+1

H'＝(H-F+2P)/S+1

其中，W'和H'分别表示初始特征图的宽度和高度，F代表卷积核大小，S代表步长，P代表特征映射中填充的周围层数；由上述两式可知，可使用P来确保不同F获得的初始特征图大小相同，初始特征图经过大小3×3、步长为2的卷积核进行卷积操作，并使用组归一化和激活函数，依次得到256、512个通道的处理结果；

所述采用非线性变换 模块来提取图像高级特征的具体实现过程如下：

残差图与有雾图像之间的关系是非线性的，为了刻画这种非线性关系，非线性变换模块使用非线性变换将图像特征信息转换为高维残差信息，非线性变换模块由七个瓶颈构建块组成，瓶颈构建块执行如下映射：

x_i+1＝RPReLu(F(x_i,w_i)+I(x_i))

其中，x_i和x_i+1分别代表第i个瓶颈构建块的输入和输出，w_i是与第i个构建块相关联的一组权重，I(.)代表识别函数，RPReLu(x_i)为非线性变换模块采用的非线性激活函数，该激活函数在负坐标区间和0处保持原始信号，在正坐标区间通过添加系数来抑制原始信号，α_i代表加权系数，i代表不同的通道；

每个瓶颈构建块的三层网络采用的卷积核大小分别为1×1、3×3和1×1，其中，卷积核1 ×1的网络层用于改变特征图的尺寸，卷积核3×3的网络层用于提取高层图像特征，每层采用激活函数RPReLu和组归一化。

2.根据权利要求1所述的基于深度残差网络的图像去雾去雨方法，其特征在于，该方法还将均方误差和特征重建损失的加权组合定义为网络损失函数，即：

L_total＝L+βL_p

式中，β是加权参数，损失函数的第一部分即均方误差，其具体定义为：

R＝G-I

其中，DRHNet(I)即表示获得的残差，G是无雾图像，I是有雾图像；

损失函数的第二部分为特征重建损失L_p，其具体定义为：

其中，VGG(.)是VGG-16网络，H_j、W_j和C_j表示特征图的高度、宽度和通道数量，j代表VGG-16的层数。