[发明专利]基于生成对抗网络的无参考低光照图像增强方法及系统

说明书

本发明涉及一种基于生成对抗网络的无参考低光照图像增强方法及系统，该方法包括以下步骤：分别对原始分辨率的低光照图像和正常光照图像进行预处理，得到用于训练的不成对的低光照图像块和正常光照图像块；构建用于低光照增强的生成器网络和用于进行对抗训练的判别器网络；使用低光照图像块和正常光照图像块交替训练生成器网络和判别器网络收敛到纳什平衡；将用于测试的原始低光照图像输入训练好的生成器网络预测其增强后的图像。该方法及系统有利于提高低光照图像增强的质量。

技术领域

本发明属于图像和视频处理技术领域，特别涉及一种基于生成对抗网络的无参考低光照图像增强方法及系统。

背景技术

随着拍摄设备越来越普及且便携，人们可以拍摄到视觉效果好的图像。但是在光线不足的场景下，如夜景或昏暗的室内，要得到视觉效果良好的摄影图像仍然是十分困难的。由于场景光线不足或背光拍摄，捕获到的图像会呈现曝光不足，这类图像被称作低光照图像。低光照图像中的某些区域几乎看不到图像细节。低光照图像不仅呈现较低视觉效果，而且会影响许多基本的计算机视觉和图像处理方法的性能，如图像分类、图像显著性检测、对象检测和识别等。

目前，基于深度学习的图像增强方法通常能获得比其它方法更好的结果。但是基于深度学习的图像增强方法，普遍需要使用成对的图像对进行训练。然而，在低光照图像增强问题上，获得可用于深度学习模型训练的成对数据集是很困难的。现有的低光照图像增强方法大多使用合成的成对低光照图像数据集，由于合成数据集于真实图像存在差异，导致使用合成数据集训练的方法在真实场景下图像增强能力无法得到保证。

发明内容

本发明的目的在于提供一种基于生成对抗网络的无参考低光照图像增强方法及系统，该方法及系统有利于提高低光照图像增强的质量。

为实现上述目的，本发明采用的技术方案是：一种基于生成对抗网络的无参考低光照图像增强方法，包括以下步骤：

分别对原始分辨率的低光照图像和正常光照图像进行预处理，得到用于训练的不成对的低光照图像块和正常光照图像块；

构建用于低光照增强的生成器网络和用于进行对抗训练的判别器网络；

使用低光照图像块和正常光照图像块交替训练生成器网络和判别器网络收敛到纳什平衡；

将用于测试的原始低光照图像输入训练好的生成器网络预测其增强后的图像。

进一步地，对原始分辨率的低光照图像和正常光照图像进行预处理的具体方法为：

分别将原始分辨率的低光照图像、正常光照图像在随机位置上进行切块，其中切块大小随机选取128×128到320×320之间的正方形尺寸，然后将得到的切块统一缩小到128×128大小，作为训练用的低光照图像块和正常光照图像块；

分别将得到的低光照图像块和正常光照图像块进行随机的旋转和翻转，并且使用如下公式缩放图像的像素范围，得到用于训练的不成对的低光照图像块和正常光照图像块数据集；

其中，I^ori为像素值范围处于[0,255]的原始图像，I是经过缩放后像素范围处于[-1,1]的图像。

进一步地，构建用于低光照增强的生成器网络的具体方法为：

生成器网络采用U-Net结构，包含编码器和解码器两部分，分别包含3次下采样提取图像特征和3次上采样还原输出图像，并将各尺度的编码器输出特征跳连到解码器部分对应层的输入中；其中编码器的下采样由步长为2、卷积核大小为3×3的卷积操作完成，解码器的上采样由最近邻插值的方式进行；在编码器部分，使用卷积、批归一化和带泄漏修正线性单元Leaky ReLU激活进行图像特征提取；在解码器部分，使用卷积、层归一化、LeakyReLU激活和上采样操作来还原增强图像；