[发明专利]一种基于深度学习的雾天能见度预测方法，存储装置及服务器

说明书

本发明提供了一种基于多任务与特征融合网络的雾天能见度等级预测的方法，首先，获取预处理后的雾天图像，然后，通过暗通道先验的方法得到去雾图像，再将图片输入到多任务网络的生成分支进行雾气图像的训练，然后通过预测分支对于能见度等级进行分类训练，再将两个分支合并训练，最后使用训练后的多任务神经网络对给定图片进行雾天能见度等级的分类。与现有技术相比，本发明在对雾天能见度等级进行分类时关注雾气本身这一特征，并且进行了特征融合，能够准确的预测出雾天能见度等级。

技术领域

本发明涉及图像处理，人工智能等技术领域，具体涉及一种基于深度学习的雾天能见度预测方法。

背景技术

能见度是指视力正常的人能从背景中识别出目标的最大距离，是影响航空、航海与城市交通安全的重要影响指标。相比于造价高昂的专业能见度仪器，监控摄像头成本更低，所以基于监控视频图像对能见度做出估计，在公共交通安全、气象学等领域具有重要价值。

传统的基于图像的能见度测量方法主要是应用数字图像处理技术和机器学习算法来对能见度进行测量。如今我们的硬件水平已经很高，监控摄像头已经十分普及，各类智能算法更是层出不穷，因此基于图像的能见度测量方法再次引起学术界和工业界的关注，并且许多已经投入到实际应用之中。

目前已有研究者提出神经网络对能见度进行预测，但仍存在不足之处：现有的神经网络多关注于物体在雾气下的特征变化，忽视了雾气本身的特征，从而导致最终对于雾天能见度等级预测不准确的问题。

发明内容

为了解决现有技术中雾天能见度等级预测不准确的问题，本发明提供一种基于深度学习的雾天能见度预测方法，包括以下步骤：

S1：通过图像采集设备获取雾天图像，并对雾天图像进行预处理；

S2：对预处理后的雾天图像使用暗通道先验方法得到去雾图像；

S3：搭建雾气图像生成和雾天能见度预测神经网络；

S4：对雾气图像生成分支和雾天能见度预测分支分别进行训练；

S5：将生成分支与预测分支合并进行训练；

S6：将待测图像输入到训练后的神经网络中，得到图像的雾天能见度数据。

进一步的，步骤S2中，对于图像中左上与右下浮于画面上方的时间显示区域及位置信息显示区域，使用相邻无字符的矩形区域进行遮盖，像素替换方式如下：

其中y为原图像(x,y)位置的像素值，采用其上下区域的像素进行替换，省略x；y_s为信息戳区域中心点像素值，h_s为信息戳区域高度。

进一步的，步骤S3中，所述能见度预测神经网络由生成分支和预测分支组成；生成分支由VGG16网络模型的前十层与一个反卷积层组成，该分支在骨架网络输出第一层特征，第一层特征分辨率为输入图像的1/8；对第一层特征应用骨架网络得到第二层特征，第二层特征分辨率为输入图像的1/16；再对第二层特征应用卷积核大小为4，步长为2的反卷积，作为轻量级生成分支的解码端，得到第三层特征，第三层特征分辨率为输入图像的1/8；最后对第三层特征作1x1卷积，生成雾气图片H^e；

预测分支将5个特征图融合作为输入，输出为5个雾天能见度预测，包括：

自底向上的特征提取网络：{C1，C3}及{C2，C4}各自处于相同的特征阶段，将相同特征阶段的特征各自经过1x1的卷积，并按元素相加随后将特征传入中部分支，其中C1为经过VGG网络卷积之后生成的特征，C2和C4为C1经过一个最大池化层后生成的特征，C3为对C2特征应用卷积核大小为4，步长为2的反卷积后生成的特征；