[发明专利]用于单幅图像去雾的串行注意增强UNet++去雾网络

说明书

本发明提出了一种用于单幅图像去雾的串行注意增强UNet++去雾网络，它采用基于残差结构的两个剪枝的UNet++块的串行策略。与简单的编解码结构相比，UNet++模块能够更好地利用编码器提取的特征，促进不同分辨率的上下文信息融合。串行UNet++结构可以学习深层特征，同时保留浅层特征，以便更好地处理浓密的烟雾，生成更逼真的图像，同时减少颜色失真。此外，还引入了在空间域和通道域学习权重的注意力机制来处理不均匀分布的烟雾。实验在两个具有代表性的公共数据集上进行，即大规模合成数据集RESIDE和小规模真实数据集I‑HAZY、O‑HAZY。对于RESIDE合成数据集，所提出的方法可以实现最先进的性能，对于I‑HAZY和O‑HAZY真实世界数据集，所提出的方法大大超过了以前最先进的去雾方法。

技术领域

本技术方案属于图像处理领域，具体是一种用于单幅图像去雾的串行注意增强UNet++去雾网络。

背景技术

当光线在浓密的悬浮颗粒(如雾、霾、烟、灰尘等)中传播时，由于颗粒的散射作用，成像传感器采集的图像信息严重退化，从而丢失了大量有用信息，极大地限制了后续的高级视觉任务[1，2]。图像去雾的目的是消除大气环境对图像质量的影响，提高图像的可见度，并为后续视觉任务(如分类、定位和自动驾驶系统)提供支持。在过去的几十年中，单幅图像去雾作为一项基础性的低层视觉任务，越来越受到世界各国计算机视觉界和人工智能公司的重视。

为了解决这一难题，人们提出了多种方法，图像去雾算法大体上可分为传统方法和基于学习的方法。传统的图像去雾算法大多基于假设模型，其中[3]中介绍的大气散射模型是最成功的图像去雾模型。它被广泛用于描述朦胧图像的形成，公式如下：

I(z)＝J(z)t(z)+A(1-t(z)) (1)

其中I(z)是模糊图像,J(z)去雾后图像,t(z)转移图,A是全球大气光组成。当大气光成分一致的时候，转移图可以被描述为：

t(z)＝e^-βd(z) (2)

其中β是大气散射系数，而d(z)代表景深。在单幅图像去雾任务中，有了一个模糊图像后，可以根据上式获得去雾后图像。

但是，简单的应用大气散射模型在估计转移图和全球大气光时可能导致不可避免的错误。因此恢复图像的质量不够理想。许多随大气环境变化的先验知识被用来改进大气散射模型的性能。He等人[4]根据统计定律发现了DCP(暗通道先验)，以计算转移图。但DCP在高亮度区域会变得失效。Zhu等人[5]引入了CAP(颜色衰减先验)来描述亮度、饱和度和烟雾密度之间的关系。Berman等人[6]提出了一种非局部先验知识。它的意思是无雾图像的颜色可以在RGB空间中形成紧密的非局部簇，并且在有雾的情况下，它们的不同距离可以转化为不同的透射系数。He等人从局部线性模型推导而来，进一步提出了一种导向滤波方法[7]，该方法在去除雾霾方面非常有效，无需使用复杂的大气模型。随着[8,9]等方法的提出，该模型取得了很大的成功，但在处理更复杂的现实场景时也显示出鲁棒性不足的问题。

近年来，基于卷积神经网络(CNN)的深度学习在一些高级视觉应用中取得了优异的效果[10-12]。同时，它在处理一些低级视觉任务(如超分辨率)时也表现出了出色的性能[13,14]。借助神经网络强大的学习能力，可以简单地估计转移图或直接预测去雾后图像。与传统方法相比，基于学习的图像去雾算法显示出更有效、更显著和更稳健的可视化改进。相对早期的基于深度学习的算法也利用了大气散射模型。Cai等人[15]介绍了一种基于CNN的单一去雾网络，称为DehazeNet。 DehazeNet是一个可训练的端到端网络，通过自学习转移图向其输入模糊输入时，可生成无雾输出。Li等人[16]提出了一种称为AODNet的一体化去雾网络，用于在一个框架内联合估计转移图和全球大气光。此外，Zhang等人[17]提出了一个密集连接的金字塔去雾网络，也称为DCPDN，通过金字塔形网络分支预测转移图，并通过另一个平行的基于UNet[18]的分支估计大气光。