[发明专利]一种基于双路残差卷积神经网络的图像去雾方法

说明书

本发明公开了一种基于双路残差卷积网络的图像去雾方法，所述方法包括以下步骤：基于大气散射模型，通过无雾图像和已知的景深，随机选取全局大气光和大气散射系数，由无雾图生成有雾图，建立训练集；网络结构由特征预提取模块、特征转换模块和图像恢复模块搭建，特征预提取模块提取的特征分为两个尺度，特征转换模块利用级联的双路残差卷积单元对相同尺度的特征作残差连接，能够提取不同尺度感受野的雾霾信息；采用L1范数损失函数、结构相似性损失函数、图像梯度损失函数和感知损失函数的线性组合训练去雾网络；将单幅有雾图像训练好的去雾网络，得到去雾图像；本发明不需要复杂的假设和先验，可以直接从单幅有雾图像恢复出无雾图像。

技术领域

本发明涉及图像处理技术与深度学习技术领域，尤其涉及一种基于双路残差卷积神经网络的图像去雾方法。

背景技术

雾霾是一种常见的大气现象。雾在空气的相对湿度达到饱和时产生，此时空气中的一些水汽会凝结成小水滴。霾由气溶胶颗粒组成，这是一种悬浮在空气中的灰尘颗粒。雾和霾有着相同的起因，当湿度足够时霾也可以转化成雾。这种常见的天气状况，是导致图像质量降低的重要原因之一。

很多机器视觉系统的稳定性依赖输入图像的质量。在监控、识别、自动驾驶等应用中，雾霾则会降低输入图像的质量，从而导致更严重的系统判断或决策错误。大气中的雾霾颗粒对光线的吸收和散射导致了图像的低分辨率、低对比度和颜色失真，图像质量的降低增加了监控分析和目标识别的难度。在道路监控中，雾霾会影响到车辆和行人的准确识别。在自动驾驶中，捕捉到的图像质量降低，可能导致系统作出错误的判断，从而引发安全事故。

图像去雾可以分为图像增强的方法和图像复原的方法。图像增强从图像处理的角度出发，通过增强图像的对比度和饱和度等方式来改善图像的视觉效果，这种方法中比较主流的有直方图均衡法、Retinex算法、基于小波变换的方法等。

图像复原的方法将雾霾看做是加在原图上的一种噪声，通过建立物理模型恢复出原始图像，由于其更具有理论支撑，更加注重雾霾对图像带来的影响及物理规律，在近年来的研究中获得了更广泛的关注。图像复原的方法又可以分为基于额外信息的方法、基于先验条件的方法，以及基于深度学习的方法。基于额外信息的方法无法仅通过单幅图像完成去雾，需要借助额外的场景图像信息、深度信息或三维建模信息等。基于先验的方法采用人工提取的先验特征作为前提，在此基础上进行图像去雾，例如，He等人^[1]提出了暗通道先验，该先验假设无雾图像中(除了天空和亮度很大的区域以外)，总有某些像素点的一个颜色通道的像素值接近于0，并结合大气散射模型，利用已知的有雾图可以反推出图像传输率，从而可以得到无雾图像。

基于先验的方法尽管易于实现，在一些条件下也有不错的效果，但是其基于的假设未经证明，存在一定的不可靠性。近年来，基于深度学习的方法由于其更稳定的效果、更广泛的适用性越来越被重视。基于深度学习的方法能够直接从数据中学习到有雾图和无雾图之间的关系，而不需要人为的干预。例如，Cai等人^[2]提出的DehazeNet是一个基于图像传输率的模型，它能够直接训练出有雾霾图像和其对应的传输率之间的映射关系，进而通过大气散射模型恢复出无雾图。Ren等人^[3]提出了一种多尺度的卷积神经网络MSCNN，它先生成一个粗尺度的传输率，然后逐渐细化它，最后通过细化的传输率恢复无雾图像。

在现有技术中，图像增强的方法通常存在颜色失真、细节丢失等问题；基于物理模型的方法尽管在去雾上能取得更好的效果，但是物理模型是一个欠定方程，准确地恢复出无雾图像具有一定的难点，现有技术通常是通过估计图像传输率和全局大气光等中间参数间接地实现去雾，恢复无雾图时误差会被放大，从而影响去雾图的质量。因此，设计一种能够直接学习有雾图和无雾图之间变换关系的方法，实现对不同场景不同尺寸图像的去雾，具有更高的实用价值。

发明内容