[发明专利]一种特征自我保留的弱光图像增强方法

说明书

本发明公开了一种特征自我保留的弱光图像增强方法，包括一组CycleGAN模型、VGG16、第一训练集和第二训练集，其特征在于，所述CycleGAN模型由生成器(G、F)、图像集(X、Y)和判别器(DX、DY)组成，所述判别器(DX、DY)都包含模糊RGB判别器、灰度判别器和梯度判别器这三个判别器，本发明结构简单，首先我们使用判别器从颜色、亮度和纹理这三个方向去评判生成器生成图像的真实性，使得增强后的图像显现更多的细节特征，随后为了使增强的图像保留原始图像的特征，我们引入了特征自我保留损失，最后为了让我们的模型获得较强的鲁棒性，在训练中加入一定量正常亮度和过度曝光图像。大量实验证明，我们提出的方法在视觉质量和客观指标上都优于现在很多的方法。

技术领域

本发明涉及弱光图像增强技术领域，尤其涉及一种特征自我保留的弱光图像增强方法。

背景技术

当我们用手机或者摄像机等设备拍照的时候，由于场景光照亮度、拍摄设备等原因，拍摄到的图像或多或少存在过暗或者过亮的区域。这样的照片无法让人有满意的视觉效果，也无法获得细节信息，大大降低了图像的实用性。在这种情况下，就有必要增强图像的过暗区域，降低过亮区域等，以提高图像的质量，增强图像的细节，因此研究弱光图像增强技术具有重要的意义。

基于深度学习的方法很多现有的基于深度学习的弱光图像增强方法是基于图像融合的，包括多张图像融合成一张新的图像，或者将一张弱光图像拆分成多个通道，例如YCrCb，再着重对亮度通道(Y)增强，最后融合成新的图像参考文献[9]。参考文献[4]提出了一种基于卷积神经网络的通用图像融合框架(IFCNN)，可以融合多曝光、多聚焦图像和多模式医学图像等。IFCNN在融合多曝光图片时，得到的结果质量比较高。参考文献[10]计算局部可见性和一致性映射，确定多曝光融合(MEF)的权值映射，此方法能够适用于静态和动态场景。参考文献[13]使用最优加权多曝光融合的机制在增强图像的同时很好地保留了原有的细节。参考文献[16]使用边缘保持平滑金字塔的多尺度曝光融合算法生成的图像能够保留图像中最暗和最亮区域的细节。参考文献[20]利用13种MEF和基于堆栈的HDR算法生成相应的高质量参考图像集来训练卷积神经网络(CNN)得到一个单图像对比度增强(singleimage contrast enhancement，SICE)器。参考文献[29]利用亮度自适应的基于视网膜的图像感知对比度增强的图像存在过多的噪音以及颜色失真等问题。参考文献[21]和参考文献[30]增强的图像比较暗，视觉效果较差。

最近几年，出现了很多基于生成对抗网络的弱光图像增强方法。参考文献[2]提出了一种循环生成对抗网络(CycleGAN)，它虽然也能实现图像的增强，但是效果比较模糊。为了让夜间车载图像更具有表现力，参考文献[3]基于平移检索定位的问题，提出了一个图像转换模型(ToDayGAN)。为了解决立体视觉测程下的弱光图像问题，参考文献[5]提出了一个多帧生成对抗网络(MFGAN)。参考文献[6]提出了一种无监督的生成对抗网络(EnlightenGAN)，可以在不需要弱光/正常亮度图像对的情况下训练模型。参考文献[7]和参考文献[17]都是基于视网膜大脑皮层理论和生成对抗网络的弱光图像增强方法，二者都主要由Retinex分解网络和增强网络这两部分组成。

然而，在以上的工作中，有些方法整体增强图像的亮度，这样会使得图像原本高亮度的部分曝光过度，表现得很刺眼；也有的方法使得过暗区域信息不明显，颜色失真，增强图像的视觉效果很差；也有的方法这两种情况同时都出现。它们有些方法只适用于某一场景的弱光图像，并不能适用于所有场景的弱光图像。

为克服以上缺陷，我们提出了基于生成对抗网络的图像增强方法，并引入特征自我保留损失和从颜色、亮度和特征三个方向判别，使得我们的模型尽可能的让增强后的图像保留原本的特征，拥有更多的细节；在增强暗区域的同时也能抑制亮区域的过度曝光。为了让模型获得较强的鲁棒性，我们训练模型的时候在弱光图像集加入了一定量的正常亮度和过度曝光图像。

参考文献：