[发明专利]基于深度学习的视频去雾系统

说明书

本发明基于深度学习，设计出一款实时的视频去雾系统。采用端到端的图像去雾方法，搭载轻量级的卷积神经网络，同时学习大气散射模型中的透射率t(x)和大气光A参数，直接生成去雾图像；结合前背景分割法和双三次插值算法对视频图像进行处理进一步提高了视频处理的实时性；在NYU2数据集上根据大气散射模型生成有雾图的方法得到有雾图像数据集，用于训练和测试。本发明设计出的视频去雾系统可移植性强，能够嵌入到硬件处理器中，能应用到交通视频去雾、无人驾驶、计算机视觉辅助驾驶中，去雾能力显著，视觉效果好，是一款有效的视频去雾系统。

技术领域

本发明属于计算机图像处理领域，具体涉及到一种基于深度学习的视频去雾方法。

背景技术

近年来，图像处理、计算机视觉等技术迅速发展，越来越多的应用在智能交通系统中。晴朗天气状况下，智能交通系统可以得到清晰丰富的图像信息，并且可以进行运动车辆检测、追踪、识别等工作，给道路监管带来了便捷，并极大提升了车主的行车安全性。但是在雾霾等恶劣天气时，视野变得模糊，能见度降低，智能交通系统的作用大幅度下降，难以获得准确的图像特征从而对目标进行检查和识别等工作；驾驶员的视野范围也大范围降低，为安全驾驶埋下了隐患。对受雾霾影响的道路交通视频、行车记录仪视频及辅助驾驶系统进行去雾清晰化处理，提高道路视频监控系统对环境的适应性以及辅助驾驶员进行道路状况判定显得尤为重要。

针对雾霾引发的图像或视频质量下降现象，国内外研究学者提出了许多有效的去雾算法。目前通常将图像去雾算法分为两类：基于图像增强的去雾算法和基于图像复原的去雾算法。

基于图像增强的去雾算法通过改变图像灰度值分布或提高图像对比度等图像特征从而实现去雾。Seow Ming-Jung等人提出的同态滤波算法，通过结合频率滤波和亮度变换进行彩色图像增强处理，使用同态滤波器对图像像素亮度值的动态范围进行压缩，并利用比例规则的神经网络来改善彩色图像的自然颜色重现。R.Tan等人提出一种基于先验信息的雾天图像复原方法，通过统计发现无雾图像相对于有雾图像必定具有较高的对比度，从而利用最大化复原图像的局部对比度来达到去雾的目的。Fattal等人在假设光的传播和场景目标表面遮光部分是局部不相关的前提下，估计出场景的福照度，并由此推导出传播图像。随着深度学习的发展，基于学习的方法也被应用于图像去雾中来。Tang等人用随机森林(Random Forest)的方法结合了四种与雾有关的特征来估计透射率图。Ren等人提出了一种多尺度卷积神经网络(MSCNN)来学习有雾图像的透射率图。

基于图像去雾的技术研究已经取得一定的进展，视频去雾的研究成果相对较少，随着视频去雾需求的扩大，视频去雾也成为一个研究热点。Nicolas hautiere等人以车载摄像机获取视频作为研究对象，首先估计大气状况，利用场景的结构估算大气光衰减系数，大气光以及景深信息，最后根据大气散射模型恢复当前视频图像帧的对比度，同时改进场景的结构为后面的视频处理应用。Gong Chen等人提出一种在雾天视频中检测运动目标的算法，需要有雾及无雾天气下相同场景的图像，采用双色散射模型估算大气光及场景深度，利用大气散射模型进行图像去雾，然后利用无迹卡尔曼滤波(UKF)的背景保持算法通过背景减除提取出去雾后视频图像中的运动目标。通过调研发现，视频去雾的研究对于交通监控视频的分析和驾驶员智能辅助系统具有重要的意义，但是现有的关于视频的去雾研究尚少，且尚不成熟，去雾残留较为严重，视频去雾实时性也较差。提高视频去雾的视觉效果和实时性成为该领域研究的关键问题。

发明内容

基于上述单幅图像去雾和视频去雾研究现状的分析，本发明基于深度学习的思想，设计出一种实时视频去雾系统，相比于传统算法分别估计透射率t(x)和大气光A，本发明利用卷积神经网络，只通过估计参数K(x)，直接生成去雾图像，以简化去雾流程，并结合前背景分割法和双三次插值算法达到实时视频去雾的目的。本发明基于深度学习的视频去雾系统包括以下步骤：

1)输入有雾视频，采用前背景分割的方法对视频进行预处理，分离出前景和背景，为后续步骤的去雾处理做准备；