[发明专利]暗光图像增强方法、装置、电子设备及存储介质

说明书

本发明提供一种暗光图像增强方法、装置、电子设备及存储介质，其中方法包括：在目标图像的光照强度低于目标阈值的情况下，基于目标图像的RGB三通道确定目标图像的光照引导图；将目标图像和光照引导图输入至卷积神经网络图像增强模型中，得到卷积神经网络图像增强模型输出的增强图像；卷积神经网络图像增强模型，是以不成对的暗光图像和正常光照图像为训练样本，并基于训练样本的细节感知特征和结构感知特征进行训练后得到的；卷积神经网络图像增强模型用于对目标图像进行图像增强；增强图像的光照强度高于或等于目标阈值。本发明利用细节感知特征和结构感知特征之间的互补信息共同提高目标图像的增强效果，从而避免出现过曝和色移的问题。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种暗光图像增强方法、装置、电子设备及存储介质。

背景技术

用户在利用常见硬件设备如手机拍摄图像时，经常会碰到类似暗光等不利条件，导致手机捕获的图像亮度过低，物体和场景不清晰，细节损失以及模糊等问题，不仅缺乏感知美学，而且严重阻碍后续的视觉分析，如文本识别和物体检测等任务。因此，如何对暗光图像进行处理使其具有足够的亮度和令人满意的自然特性，一直是计算摄影、计算机图形学和计算机视觉界等领域的研究重点之一。

现有的深度学习方法包括监督学习方式和无监督学习方式。现有的监督学习方式利用一对图像(一张暗光图像I，一张对齐的正常光照图像N)来学习I和N之间的映射关系；但是，监督学习方式中利用配对数据训练的模型，仅能够对于和训练数据集同类型的测试图像产生较好的效果，导致无法泛化到更加广泛的场景当中，局限性较大。现有的无监督学习方式采用暗光图像和不配对的正常光照图像作为训练数据，通过生成式对抗网络(Generative Adversarial Networks，GAN)来约束增强的结果接近正常光照图像，通过感知损失来约束增强的结果保留暗光图像的纹理和内容；但是，现有的无监督学习方式存在导致很多原本就亮的地方出现过曝和色移的问题。

发明内容

针对现有技术存在的问题，本发明提供一种暗光图像增强方法、装置、电子设备及存储介质，实现利用目标图像的细节感知特征和结构感知特征之间的互补信息共同提高目标图像的增强效果，避免出现过曝和色移的问题。

本发明提供一种暗光图像增强方法，包括：

在目标图像的光照强度低于目标阈值的情况下，基于所述目标图像的红绿蓝RGB三通道确定所述目标图像的光照引导图；其中，所述光照引导图用于表示所述目标图像中不同位置需要增强的程度；

将所述目标图像和所述光照引导图输入至卷积神经网络图像增强模型中，得到所述卷积神经网络图像增强模型输出的增强图像；

其中，所述卷积神经网络图像增强模型，是以不成对的暗光图像和正常光照图像为训练样本，并基于所述训练样本的细节感知特征和结构感知特征进行训练后得到的；所述卷积神经网络图像增强模型用于对所述目标图像进行图像增强；所述增强图像的光照强度高于或等于所述目标阈值。

根据本发明提供的一种暗光图像增强方法，所述基于所述目标图像的RGB三通道确定所述目标图像的光照引导图，包括：

对所述目标图像进行图像增强，得到第一图像；

对所述第一图像进行归一化，得到第二图像；其中，所述第二图像的像素值范围包括[0，1]；

基于所述第二图像的RGB三通道确定所述第二图像的灰度图；

基于所述第二图像的灰度图确定所述第二图像的光照引导图，将所述第二图像的光照引导图确定为所述目标图像的光照引导图。

根据本发明提供的一种暗光图像增强方法，所述卷积神经网络图像增强模型包括：结构感知生成器SAG、细节感知生成器DAG、特征注意力融合模块FAM；