[发明专利]基于仿真偏振带雾场景数据集的图像去雾方法

说明书

本公开的实施例公开了图像去雾方法。该方法的一具体实施方式包括：获取偏振无雾场景图像集，基于偏振无雾场景图像集中的每个偏振无雾场景图像，生成第一五元组，得到第一五元组集；从第一五元组集中的每个第一五元组包括的显著偏振图像中提取满足预设条件的像素坐标，得到像素坐标组，以生成第二五元组；基于第二五元组集中的每个第二五元组生成仿真偏振带雾场景图像序列，得到仿真偏振带雾场景数据集；基于偏振无雾场景图像集和仿真偏振带雾场景数据集，设计偏振状态关注神经网络；获取偏振带雾场景图像，以及将偏振带雾场景图像输入到偏振状态关注神经网络，得到偏振去雾图像。该实施方式在光照条件较差的场景中，依然可以提高图像去雾的准确度。

技术领域

本公开的实施例涉及计算机视觉和图像处理领域，具体涉及图像去雾方法。

背景技术

在恶劣的天气条件下采集的图像往往会受到雾的影响。由于光线会被空气中的粒子所干扰，因此捕获的图像质量往往会明显地下降，如对比度差、颜色保真度不真实以及场景细节的丢失。这种图像质量的下降对于广泛的计算机视觉任务来说是一种普遍的障碍。例如，城市交通监测，户外视频监控以及自动驾驶等计算机视觉任务。因此，需要通过去雾处理来提升在恶劣天气条件下采集的图像质量。

传统的基于颜色或基于偏振的去雾算法，通常会引入先验知识或对全局大气光的计算做出一些假设。这类先验和假设，在某些情况下会导致错误的去雾结果，从而使得去雾后的图像质量下降甚至产生颜色偏差。此外，这些方法还会在去雾的过程中放大图像的噪声，从而使得去雾的结果出现大面积噪点。如图1所示，本发明标注的用以计算全局大气光的参考像素相较估计的深度信息以及先验假设信息得到更加合理的标注结果。

随着深度学习技术的发展，越来越多的方法尝试利用训练一个神经网络得到更好的图像去雾效果。这类深度学习的方法通常依赖于带有真值的数据集。而现阶段并不存在适用于远距离深度采集的传感器。因此，这类数据驱动的方法往往在合成的数据集(例如RESIDE数据集)上进行训练，其中，RESIDE数据集是一个雾天图像数据集，通过对采集的场景图像进行深度估计，该数据集通过选择适当的散射系数来合成相应的仿真数据。但是，估计的深度信息总是粗糙且不准确的，这使得合成的带雾场景图像在视觉上不真实且在物理上不可靠。因此，在这类依靠估计深度合成的数据集上训练的神经网络不能很好地推广到真实场景中。考虑到带雾场景成像过程的复杂性和不确定性，图像去雾仍然是一项非常具有挑战性的任务。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

考虑到现阶段不存在可以应用于远距离场景的深度测量传感器，而带雾场景中穿过雾的光照是部分偏振光的事实，本发明提出了在深度学习环境中利用偏振和颜色对偏振彩色图像，对带雾场景图像进行清晰化去雾处理。本发明观察到利用偏振信息可以更精确地估计全局大气光值，这可以显著地提高合成数据的真实性和物理意义上的准确性。之前的方法一般对场景图像的深度信息进行了不准确的估计，与之不同的是，本发明通过直接采集偏振彩色图像，提出一种偏振带雾场景的仿真方法来构建带有真值的数据集。基于对偏振彩色图像的偏振信息的分析，提出了利用偏振信息来模拟带雾场景图像的仿真策略。得益于偏振的物理学意义，可以预期，在仿真偏振带雾场景数据集上训练的深度神经网络，可以很好地推广到真实的带雾场景图像中。偏振信息包括总强度图像、显著偏振图像，偏振角度图像和最淡雾度图像。

在仿真偏振带雾场景数据集的基础上，本发明提出了一个端到端的PSANet(Polarization state attention network，偏振状态关注神经网络)，重点解决偏振特征提取和基于偏振信息的图像去雾这两个问题。基于深度学习中的注意力机制，本发明提出了一个偏振特征提取模块，可以有效且准确地提取带雾场景图像的偏振特征。在获得偏振特征之后，本发明提出一个偏振去雾模块，通过结合使用基于偏振透射模型和偏振去雾模型来对带雾场景图像进行清晰化去雾处理。