[发明专利]一种基于生成对抗网络的非监督低照度图像增强方法

说明书

本发明公开了一种基于生成对抗网络的非监督低照度图像增强方法，属于图像处理领域，本发明通过构建生成对抗网络的生成器和判别器，利用训练集对生成对抗网络的生成器和判别器进行训练，使用训练后的生成对抗网络对待处理的低照度图像进行增强得到增强图像。本发明能够利用非监督图像数据训练模型，从而解决监督数据数量少且获取困难的问题；同时该方法能通过基于图像梯度和亮度设计的注意力图解决图像增强后的过曝问题。

技术领域

本发明涉及一种基于生成对抗网络的非监督低照度图像增强方法，能够广泛适用于各种低照度环境下，需要通过增强图像或视频的亮度以提高能见度的场景。

背景技术

低照度图像增强是计算机视觉领域的一个经典问题，其目的在于增强在低光照环境下拍摄的图片或视频，以提高其能见度。该技术不仅在视频监控、视频拍摄等依靠人眼感知的领域具有大量的应用，同样能为依赖于图像或视频的智能化算法(如自动驾驶)提供高质量的输入。现有的低照度图像增强方法主要分为三类：直方图均衡化(HE)，Retinex理论，基于学习的方法。

直方图均衡化这类方法利用预先设计的先验知识或约束实现对图像的全局或局部的直方图均衡化。这类方法的优点是快速且稳定，缺点是仅考虑对比度，未考虑亮度，容易造成增强后的图像过曝或欠曝的问题。同时，该类方法并未考虑图像的语义信息，对不同属性但具有相同亮度直方图的区域仅能采用相同的增强方案，容易得到次优结果。

Retinex理论将图像分解为反射图和照度图，并通过不同的假设估计照度图来求解反射图，其中反射图即为增强后的图像；基于Retinex理论的方法可以看作一个照度图估计的问题，其中不同方法区别在于估计照度图的模型不同。然而，照度图估计的模型是手工建立并且依赖仔细的参数调整。实际效果中，基于Retinex理论的方法很容易产生过曝、颜色失真等问题。

基于学习的方法则从大量低光照图像(及正常光照图像)中学习从低光照图像I_low到正常光照图像I_norm的映射，从而对未知低光照图像进行增强。随着数据量的提升以及深度学习技术的广泛运用，基于学习的方法取得了超越直方图均衡化或Retinex理论的效果。

基于学习的算法可进一步分为监督学习和非监督学习。监督学习需要依赖大量成对的训练数据(即I_low及其对应的I_norm)，这样的数据通常通过合成或者控制不同曝光时间来获得，往往无法准确反映I_low到I_norm的映射关系；非监督学习不受该限制，仅需要非成对的训练数据或仅低光照图像构成的训练集即可完成训练，因此容易通过大量真实场景下的数据学习出更好的模型。

基于学习的方法中，监督学习需要大量成对的数据(I_low,I_norm)，这些数据通常通过如下方法获得：1)建立低光照图像生成模型并从I_norm生成I_low；2)通过相机对同一场景采用不同曝光时间得到I_norm和I_low；3)通过修图专家从I_low生成I_norm。然而，方法1生成的I_low并不能准确的模拟真实光照环境下图像，基于方法2生成的数据集所开发的模型仅适用于生成该数据集的相机，而方法3生成数据集的成本很高，难以生成大规模的数据集。