[发明专利]一种轻量高效的单幅图像去烟雾方法

说明书

本发明公开了一种单幅图像去烟雾的方法，该方法基于烟雾形成的物理模型，利用轻量高效的神经网络设计了基本的编码器(Encoder)网络，再将编码网络输出的隐空间特征应用解码器(Decoder)网络解码，得到物理模型中传输介质参数，同时还将隐空间特征输入到了估计大气光照的回归器中，得到大气光照参数。将上一步得到的传输介质参数再输入到设计的金字塔网络中，进而估计出更加准确的传输介质参数。最后将所估计出的传输介质参数和大气光照参数代入到烟雾退化的物理公式中，得到去烟/雾的图像。

技术领域

本发明涉及一种基于轻量化高效率深度卷积神经网络的单幅图像去烟雾方法，属于计算机视觉领域。

背景技术

烟雾的产生，会极大地吸收光线，从而降低成像系统的成像质量，影响后续计算机视觉任务的性能，如语义分割、目标追踪、目标检测等等。图像去烟/雾技术被广泛地认为是一种病态图像恢复和图像增强的问题，有诸多挑战需要克服，其应用领域也非常广泛。现有许多的应用场景，不仅要求去烟/雾算法模型有良好的去烟/雾效果，更要求其轻量化，高效率，如视频监控、自动驾驶、外科手术等等。轻量化去烟/雾模型，提高模型的运行效率，扩宽了模型的应用场合，降低了模型对终端设备的要求。设计轻量化去烟/雾模型的难点在于，在不损失或者轻微损失模型性能的情况下，通过有限的模型复杂度和计算量，达到良好的去烟/雾效果，从而为后续的计算机视觉任务提供高质量的数据，节省宝贵的计算资源。

现有的去烟雾模型主要分为两类：1)基于先验知识的方法；2)基于学习的方法。基于先验知识的方法主要利用统计学工具，观察统计出烟雾图像或清晰图像的某些规律，从而估计恢复出原始的清晰图像，如颜色线法(参见Fattal R.Dehazing using color-lines[J].ACM transactions on graphics(TOG),2014,34(1):1-14)、暗通道法(参见He K,SunJ,Tang X.Single image haze removal using dark channel prior[J].IEEEtransactions on pattern analysis and machine intelligence,2010,33(12):2341-2353)、块对比度(参见Tang K,Yang J,Wang J.Investigating haze-relevant featuresin a learning framework for image dehazing[C]//Proceedings of the IEEEconference on computer vision and pattern recognition.2014:2995-3000)最大等等。暗通道是简单，效果较好的经典去雾方法，它观察统计发现，清晰RGB图像三个通道最小的像素值接近0，利用此规律，估计出大气模型中的传输介质(Transmission)参数，最后恢复出清晰的图像。深度卷积神经网络(CNN)在诸多计算机视频任务中表现出了优越的性能，同样，CNN逐渐成为图像去烟/雾领域的主要研究算法。有一部分模型基于大气物理模型，估计其传输介质参数(参见Cai B,Xu X,Jia K,et al.Dehazenet:An end-to-end systemfor single image haze removal[J].IEEE Transactions on Image Processing,2016,25(11):5187-5198)或者同时估计传输介质参数和大气光照参数(参见Zhang H,Patel VM.Densely connected pyramid dehazing network[C]//Proceedings of the IEEEconference on computer vision and pattern recognition.2018:3194-3203)，再利用大气模型公式恢复出原始的清晰图像数据。有的模型将这两个参数合并为一个参数，然后设计一个端到端的轻量化CNN(AODNet，参见Li B,Peng X,Wang Z,et al.Aod-net:All-in-one dehazing network[C]//Proceedings of the IEEE international conference oncomputer vision.2017:4770-4778)估计这个参数。另外还有一些模型完全基于数据驱动的方法，直接从烟雾图像中估计清晰图像(参见Qu Y,Chen Y,Huang J,et al.Enhancedpix2pix dehazing network[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition.2019:8160-8168、Shao Y,Li L,Ren W,et al.DomainAdaptation for Image Dehazing[C]//Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition.2020:2808-2817)。