[发明专利]一种基于显著性前景内容的低光照图像增强方法

说明书

本发明公开了一种基于显著性前景内容的低光照图像增强方法，学习低光照图像中的显著性前景内容信息并与增强过程融合，将低光照图像输入低光照显著注意力深度网络模型SAM得到输出的显著图；向深度预测网络模型输入低光照图像并输出对应的深度图；将获得的深度图作为引导图对显著图进行引导滤波，得到显著前景图；对于输入的低光照图像，以显著前景图作为增强程度的权重，采用LIME增强算法对低光照图像进行不同程度的增强，最终得到基于显著性前景内容增强的结果图。本发明能够针对低光照图像中的显著性前景内容区域有效的增强，同时抑制背景和无关内容区域的过度增强并抑制噪声。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于显著性前景内容的低光照图像增强方法。

背景技术

随着图像传感器设备和技术的发展和更新人们可以更便捷地获取高质量的图像，然而在低光照环境下图像传感器因为光线不足，成像会出现对比度较低、随机噪声、颜色失真等问题。这些问题往往对物体识别、检测与跟踪等后续的计算机视觉与图像处理任务的开展产生不少阻碍。为了解决低光照图像的上述问题，人们相继提出了不少低光照增强的方法，根据其所基于的理论和模型主要可划分为三大类：第一类是基于对比度提升的方法例如灰度直方图均衡、自适应对比度增强的方法；第二类是基于Retinex模型的增强算法，其主要原理将原始的低光照自然图像分解为反射图和照射图，通过对照图的估计计算出反射图作为增强后的图像；第三类是随着深度学习技术的发展，人们设计出相应的网络并构造相应的数据集，通过对网络的训练来得到增强低光照图像的模型。

尽管现有的图像增强方法针对一些低光照数据集已经具有比较令人满意的效果，然而面对更普通的低光照图像或者条件更恶劣的低光照图像时，他们往往会暴露出图像过度增强和放大随机噪声等问题。具体来说，不论是对比度提升还是Retinex模型增强，这些方法都是对整张图像的所有区域进行统一的增强，如此一来往往会使得人们所不关注的黑暗天空、地面或墙体得到了过度的增强，更有可能使得路灯、车灯等区域产生过曝光的增强。另一方面由于整体的增强，使得之前隐藏在黑暗中的随机噪声暴露出来，这不仅会破坏图像内部重要的结构信息，同时也会严重影响图像的主观评价。

产生上述问题的主要原因是现有的低光照图像增强的方法在增强的过程中往往忽视图像中的显著性内容以及前景背景内容，只是针对整幅图像直接增强，因而才会导致过度增强、放大噪声等问题。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于显著性前景内容的低光照图像增强方法，能够确保在对低光照图像显著性前景内容增强的同时，抑制背景内容区域的过度增强。

本发明采用以下技术方案：

一种基于显著性前景内容的低光照图像增强方法，学习低光照图像中的显著性前景内容信息并与增强过程融合，将低光照图像输入低光照显著注意力深度网络模型SAM得到输出的显著图；向深度预测网络模型monodepth2输入低光照图像并输出对应的深度图；将获得的深度图作为引导图对显著图进行引导滤波，得到显著前景图；对于输入的低光照图像，以显著前景图作为增强程度的权重，采用LIME增强算法对低光照图像进行不同程度的增强，最终得到基于显著性前景内容增强的结果图。

具体的，利用拥有10000张训练图像、5000张验证图像以及5000张测试图像的SALICON数据集对SAM模型进行训练，将原始的自然图像通过Gamma变换和添加高斯随机噪声转化为模拟低光照图像，获得模拟低光照图像的显著性预测训练集用于训练，得到针对低光照图像显著性预测的模型。

进一步的，模拟低光照条件预处理后的训练图像L为：

L＝A×I^γ+X

其中，I为原始数据集图像，X为服从高斯分布的随机噪声，A为1，γ为2～5之间的随机数，B为(0，1)之间的均匀分布。