[发明专利]一种基于深度语义分割的图像去雾方法

说明书

本发明公开了一种基于深度语义分割的图像去雾方法。本发明收集清晰无雾图和相应深度图的数据集，采用PSPNet网络模型构建语义分割模块，采用自动编码器构建去雾模块，并嵌入语义分割模块作为图像去雾模型；制定去雾模型训练策略进行模型训练；取有雾图及对应清晰图片所组成的测试集，对完整的去雾模型进行测试，将有雾图输入到语义分割模块中获得该有雾图的语义分割特征图，再将有雾图和对应语义分割特征图输入到去雾模块中，最后输出清晰无雾图。本发明方法能在较快时间内完成精度高的图像去雾任务，同时基于语义分割信息，能有效避免产生色差和光晕伪影现象，且在PSNR和SSIM指标上能比大部分现有图像去雾方法更好。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于深度语义分割的图像去雾方法。

背景技术

在自然界中，空气中存在较多的颗粒物或水蒸气会影响大气光的吸收和散射，从而降低光照强度，所以在这类天气下拍摄的户外照片由于雾的遮挡会变得模糊，对比度较低。雾气等遮挡物严重影响了如室外监控、自动驾驶、航拍等工作。因此去除图像中的雾气并恢复图像的原始信息显得尤为重要。

目前的图像主要分为两大类：传统的图像去雾方法和基于深度学习的去雾方法。传统的去雾方法大致分为基于图像增强的去雾方法和基于先验信息的去雾方法两类。基于图像增强的去雾方法指的是根据图像的总体信息，对图像的全部或部分灰度值进行调整，增强图像对比度，从而达到去雾的效果。这类方法比较典型的代表有直方图均衡化算法，如Stark等人提出的方法。该方法主要是采取特定的灰度变换函数(线性变换和非线性变换)处理图像使得有雾图的直方图分布变得均匀，从而达到增强图像对比度的效果。直方图均衡化算法实现简单，但某些图像经过直方图均衡化后反而灰度级减少、对比度下降，同时有一些图片由于对比度过分增强会有“过亮现象”。基于先验信息的去雾方法利用图像的一些先验信息建立模型进行去雾。这类方法典型的代表是He等人提出的暗通道先验理论，该理论表明，把清晰的无雾图分为多个图像块后，在每个图像块上只至少存在一个像素点在RGB的某个颜色通道上亮度值很小，趋近于零。对于大气光值的计算，He等人将原有雾图的各像素点的亮度值进行排列，并选中前0.1％的像素点所在的区域，选取该区域中最大的亮度值作为大气光值。尽管该方法取得了显著的效果，但在天空区域比较大或图像中的白色区域比较多时会失效。专利的图像去雾方法则融合了变差函数和颜色衰减先验。这些方法强烈依赖于先验信息，在某些自然图像下不适用。

现有的一个方法是Li等人提出了一种端对端去雾的AOD-Net方法，通过对大气光散射模型的公式进行改写，将透射率图和大气光值整合到一个变量中，使得计算变得简单，然后用一个轻量级的神经网络结构预测变量。该方法采用大气光散射模型根据无雾图生成有雾图数据集，将有雾图输入到提出的网络模型中进行训练，得到变量后根据改写的大气光散射模型公式求得清晰无雾图。

这种方法的缺点在于：

由于AOD-Net的网络结构简单、深度较浅，网络参数不够多，且没有额外获取有雾图的先验信息，在一些有雾图的处理上还是有较大的缺陷，不能很好地预测变量，会出现雾气残留的现象。

发明内容

本发明的目的是克服现有方法的不足，提出了一种基于深度语义分割的图像去雾方法。本发明解决的问题是针对现有方法网络结构简单，网络参数不够多，缺少额外获取有雾图的先验信息，导致在一些有雾图的处理上出现雾气残留现象的缺陷，本发明利用清晰无雾图和相应的深度图的数据集，采用ADE20K数据集下训练的PSPNet网络模型，并对该模型进行微调来构建语义分割模块，将有雾图输入到语义分割模块中获得该有雾图的语义分割特征图，本发明采用了语义分割特征图作为有雾图的先验信息，不需要分别预测大气光值和投射率图，降低了计算量，该语义分割结果图给出了物体的轮廓和位置信息，对于图像去雾来说是一种先验信息。

为了解决上述问题，本发明提出了一种基于深度语义分割的图像去雾方法，所述方法包括：

收集清晰无雾图和相应的深度图的数据集，室内图采用NYU-Depth v2数据集，室外图则采用RESIDE数据集；