[发明专利]基于条件生成对抗网络的低照度图像增强方法及装置

说明书

一种基于条件生成对抗网络的低照度图像增强方法及装置，针对在日常的图像采集工作中，由于场景光照条件差或者设备的补光能力不足容易产生低照度图像的问题，采用一个具备编解码功能的卷积神经网络模型(CNN)作为生成模型，同时加入具备二分类功能的CNN作为判别模型，组成生成对抗网络。在模型训练的过程中，以真实的亮图像为条件，依靠判别模型监督生成模型以及结合判别模型与生成模型间的相互博弈，使得网络模型具备更好的低照度图像增强能力。解决了处理后图像的颜色失真和边缘模糊的问题，大大提高了增强后的图像质量，同时图像处理速度快，与其他图像增强方法相比处理时间足够短，能够满足对低照度图像进行实时增强的需求。

技术领域

本发明涉及计算机图像处理领域，特别涉及基于条件生成对抗网络的低照度图像增强方法及装置。

背景技术

随着科技的发展，视频监控、相机、手机等工具的普及，在如今的生产生活中，人们可以更加方便的获得大量的图像。然而由于受到拍摄场景的光照条件较差或者图像采集设备功能缺乏等因素的影响，非常容易产生低照度图像。这些低照度图像整体成像偏灰暗甚至全暗、信噪比低、使用价值极低，严重影响人们的使用。所以必须采取一些方法处理低照度图像，将低照度图像的内容还原清晰。

过去的几十年里，对于低照度图像增强方法的研究一直在持续。早期的低照度图像增强方法主要由直方图均衡化(HE)和Retinex所主导。随后的一些方法大多是基于这两种方法的改进。这些传统的方法对于低照度图像的处理有一定的效果，但是增强后的图像容易出现颜色失真，边缘模糊等问题。同时，有一些方法在使用过程中还涉及参数调整的问题，应用较为复杂。此外，这类方法对于极低照度的图像增强效果比较差，对大尺寸图像处理速度慢，难以满足实际应用场合的需要。

为了解决传统方法的缺陷，近年来，一些研究开始尝试使用基于深度学习的方法处理低照度图像。不同于传统的单图像对比度增强的方法，深度学习方法利用数据驱动的方法，将大量不同的低照度图像输入模型进行训练，使得深度学习模型具备增强低照度图像的能力。这类方法所使用的模型往往以自动编码器以及卷积神经网络(CNN)两种为主。现有的CNN方法弥补了传统方法的不足，但是还有很大的提升空间。CNN方法采用单个模型独立训练，仅通过损失值判断模型的训练情况，并不能保证模型参数调整到最佳而获得更好的处理效果，并且对于大尺寸图像的处理速度较慢，不能达到对低照度图像的实时增强效果，难以在直接应用到现实的生产和生活环境中。

因此，针对低照度图像的增强问题，如何提高增强后的图像质量，尤其是解决处理后图像的颜色失真、边缘模糊的问题，以及如何加快处理图像的速度，满足低照度图像的实时增强需求，成为亟待解决的技术问题。

发明内容

本发明针对上述技术问题，提出了一种基于条件生成对抗网络的低照度图像增强方法及装置，对低照度图像进行增强处理，以解决处理后图像的颜色失真和边缘模糊的问题，提高增强后的图像质量，同时加快图像的处理速度，以满足对低照度图像的实时增强需求。

为解决上述技术问题，根据本发明的一个方面，提供了基于条件生成对抗网络的低照度图像增强装置，包括：

图像输入装置，用于接收输入图像，所述输入图像为低照度图像和/或其对应的高质量的亮图像；

图像处理装置，采用条件生成对抗网络即CGAN模型对低照度图像进行增强处理得到处理后的增强图像，包括：生成模型单元和判别模型单元；

所述生成模型单元采用卷积神经网络即CNN模型，所述CNN模型包括15层卷积层；所述CNN模型包括一条具有编码功能的缩小路径与一条对称的具有解码功能的放大路径；两条路径相连接构成一个深度为四层的U型结构模型；

采用跳跃连接将两条路径上位于同一层的卷积层相连接；

其中，第二卷积层与第十三卷积层相连接，使得第一、第二、第十三、第十四和第十五的卷积层组成所述U型网络模型的第一层；