[发明专利]大气退化现象中的图像仿真方法

说明书

大气退化现象中的图像仿真方法，包括以下步骤：(1)利用脚本程序，自动化地从商业游戏(GTA V)中采集高质量的RGB图像与对应的深度图；(2)依照需求，从五种大气退化现象中(雾、薄雾、自然霾、霾和亚洲尘暴)，选择合适的退化模型；(3)利用采集的RGB图像与深度图，依照所选取的退化模型生成大气退化图像，构成清晰‑退化图像对。该方法使用脚本程序从游戏中自动化地采集数据，极大地减轻了数据收集的负担，同时退化模型对不同的大气退化现象进行了严谨的区分与良好的建模，能够生成更为符合现实环境特点的仿真图像。

技术领域

本发明属于图像处理技术领域，涉及大气退化现象的仿真与数据集构建。

背景技术

近年来，越来越多的成像传感器及其配套的视觉系统被广泛应用于户外应用，如监控、遥感、自动驾驶车辆等。而通常情况下，这些传感器与算法能够保证在理想中的晴朗天气条件下良好的运行。但是，在现实环境中，部署在室外的视觉系统必须考虑到大气退化现象导致的能见度受损带来的不利影响，这种大气退化现象有时也统称为“雾霾”。因此，近年来，一些针对低能见度的异常环境的研究领域开始受到重视，如图像去雾、雾景理解、能见度估计等。在大多数情况下，想要训练或者评估一种能够适应低大气能见度环境的视觉算法，一个包含大量成对的清晰图像与大气退化图像的数据集是必不可少的。然而，从现实世界中，我们很难收集到如此多的成对图像。事实上，想要从现实中采集一对除是否存在大气退化现象外，其他所有信息完全一致的图像，也是基本不可能的。所以近年来，作为一种可行的解决方案，采用虚拟仿真技术，生成成对的清晰-退化图像数据，受到了研究人员的重点关注。

目前，针对大气退化现象仿真的研究都是关于“雾”的。此外，所有这些模拟方案实际上都采用相同的物理模型，即Koschmieder定律。这一领域的探索与工作包括：Tarel等人的“Improved visibility of road scene images under heterogeneous fog”是这一领域早期的工作。他们使用了SiVIC^TM软件，生成了基于现实公路环境的图像，构建了FRIDA数据集。其中包含18种道路场景，共90张图像。在他们随后的工作“Vision enhancement inhomogeneous and heterogeneous fog”中，他们扩充了FRIDA数据集，构建了FRIDA2数据集，其中包括66中不同环境中的330张合成图像。显然，不管是FRIDA还是FRIDA2，它们的数据量都比较小，而且由于工作属于早期工作，其仿真真实度存在明显不足。Sakaridis等人在工作“Semantic foggy scene understanding with synthetic data”中，提出了在真实的城市环境中拍摄晴朗天气下的图片，并利用雾合成管线在图像上增加雾效果的方法。不过，这一工作中用于收集图像的传感器被安装在了挡风玻璃之后，因此导致了图像的对比度不足。此外，其城市景观的深度信息不完整，且对地平线天空亮度的估计方法也存在问题。在“Benchmarking single-image dehazing and beyond”中，Li等人建立了RESIDE数据集，并在此数据集上对各种去雾算法进行了深入的评估。数据集中包含室内场景与室外场景，针对室内场景，他们选择了NYU2和Middlebury stereo中的彩色图像与深度图，而室外场景则包括2071张在真实世界中收集的室外环境图像，并通过单目深度估计的方法来生成深度图。RESIDE中针对室内场景的仿真管线是基于Koschmieder定律的，然而，室内环境不存在天空，因此环境违背了该定律的成立前提。而对于室外场景，单目深度估计并不能提供精准的深度信息，因此也给其模拟结果带来了不可靠性。

目前现存的大气退化现象仿真方案的主要问题在于，现实环境中的包括雾，霾，尘暴等在内的不同种类的大气退化现象之间存在着明显区别，但在视觉仿真领域的大多数研究者都没能对这种区别拥有清晰的认知。或将其一概看做雾，或忽略掉雾之外其他种类的大气退化现象。此外，目前该领域的工作基本全部是基于Koschmieder定律进行的，然而很多工作却忽略掉了该定律成立的前提条件，导致了最终结果的不可靠。此外，从真实环境中收集图像成本较高，且很难获得精确的深度数据。