[发明专利]一种图像复原与图像增强相融合的图像去雾方法及其卷积网络

说明书

本发明涉及图像增强技术及计算机视觉技术领域，具体涉及一种图像复原与图像增强相融合的图像去雾方法及其卷积网络。该方法利用三个不同的卷积神经网络进行融合去雾，该所述方法模拟原始有雾图像到无雾图像的映射来实现去雾本发明通过在增强网络的损失计算中结合复原网络的去雾图，提高了增强网络学习非物理模型去雾的能力；门控融合网络对复原网络和增强网络的两个去雾图计算各自的自适应权重图，权重图能够起到融合两者中好的部分，提高去雾表现的作用。该方法主要解决了当前基于物理模型和端到端的卷积神经去雾网络分别存在的设计缺陷，优化了去雾图，扩大了去雾算法的适用范围，增强了去雾算法的鲁棒性。

技术领域

本发明涉及图像增强技术及计算机视觉技术领域，具体涉及一种图像复原与图像增强相融合的图像去雾方法及其卷积网络。

背景技术

悬浮在空气中的固体小颗粒和液体小液滴会导致雾霾效应。物体的反射光会由于雾霾天气产生衰减和散射，从而降低了环境的可见度和对比度。在雾霾天气下使用传感器采集图像时，会获得含有雾霾的图像，称为有雾图像。去雾算法是一种图像增强算法，其目标为在不影响图像信息的情况下，提高图像的质量、清晰度、对比度等等，或者作为其他高级视觉任务的预处理步骤。去雾算法的输入为单一的有雾图像，其目标输出为干净清晰的去雾图像。目前主要方法可以分为基于传统的方法和基于深度学习的方法。

基于传统的方法在早期去雾工作中被大量使用，但随着深度学习在其他计算机图像领域的发展，在去雾算法中基于深度学习的方法得到了广泛使用。在基于深度学习的方法中分为基于物理模型的复原方法和端到端的增强方法。基于物理模型的复原方法需要输入的有雾图像符合当前方法的物理模型，否则会导致结果不佳。基于端到端的增强方法缺乏信息指导，而可能在复杂场景中表现不佳。

AtJ网络(Guo T,Li X,Cherukuri V,et al.Dense Scene InformationEstimation Network for Dehazing[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition Workshops.2019:0-0.)使用了一个包含一个编码器和三个解码器的网络，其中使用了大气散射模型进行去雾。

发明内容

针对上述问题，本发明通过提供一种图像复原与图像增强相融合的图像去雾卷积网络，充分利用大气散射模型并结合复原和增强方法的优点，以达到最优去雾结果。

本发明为解决其技术问题所采用的技术方案是：

一种图像复原与图像增强相融合的图像去雾方法，该方法利用三个不同的卷积神经网络进行融合去雾，该所述方法模拟原始有雾图像到无雾图像的映射来实现去雾，其实施步骤为：

步骤一：设计三个不同的卷积神经网络，所述该三个卷积神经网络分别负责有雾图像复原、有雾图像增强、去雾图像融合三个任务，所述负责有雾图像复原任务的网络为复原网络，所述负责有雾图像增强网络为增强网络，所述负责去雾图像融合的网络为门控融合网络；

步骤二：从NYU Depth Dataset V2数据集中提取无雾图和深度图，合成有雾图；

步骤三：训练参数设置；

步骤四：训练复原网络；

步骤五：结合复原网络的去雾图，训练增强网络；

步骤六：训练门控融合网络；

所述步骤四、五、六基于深度学习框架来实现；

进一步的，所述的复原网络的结构使用了一个编码器和两个解码器。

所述的增强网络的结构使用了一个编码器和一个解码器。

所述的门控融合网络的结构使用了一个编码器和一个解码器。