[发明专利]一种基于深度学习的自监督低照度图像增强及去噪方法

说明书

一种基于深度学习的自监督低照度图像增强及去噪方法，属于数字图像处理领域。本发明为解决现有基于深度学习的自监督低照度图像增强方法难以抑制噪声及无法直接调节增强图像对比度的问题。本发明包含一个自监督低照度图像增强网络和用于噪声抑制的正则项，该网络可以和现有的任意对比度调节方法如Gamma变换结合，实现网络自监督的训练，噪声抑制正则项可以用于网络训练时的损失函数以使得网络具有噪声抑制能力。本发明可在增强低照度图像对比度和亮度的同时，保留颜色和细节信息，并显著抑制噪声。本发明可以用于低照度图像的增强及去噪。

技术领域

本发明属于数字图像处理领域，涉及低照度图像的增强及去噪方法。

背景技术

在夜间或较暗的室内等低照度环境下获取的图像低往往存在低对比度，低亮度，高噪声等问题。近些年来，研究人员提出了多种不同的图像增强方法，包括传统方法和基于深度学习的方法。

传统方法包括直方图均衡化、Gamma变换，基于Retinex理论的方法及基于这些方法的改进方法等，这些方法往往集中在提高图像的对比度和亮度上，无法很好的抑制噪声，甚至会带来噪声放大和颜色失真等问题。

基于深度学习的方法可分为基于无监督和有监督两类，自监督方法属于无监督的一种。在基于深度学习的有监督方法中，往往需要成对的低照度图像和正常照度图像进行训练，该类方法一般可以很好的抑制增强结果中的噪声。但是由于同一个场景下的低照度图像可以对应多张正常照度图像，我们需要人工精心筛选以获得其中较好的图像，且在很多场景中，如同时存在高亮度和低亮度的场景中，我们无法保证获得的正常照度图像的各个局部区域均具有较好的对比度。且在实际应用中，我们无法保证该类方法对不同环境、不同相机的适应能力。

基于深度学习的无监督方法中，不需要成对的低照度图像和正常照度图像，仅需要未配对低照度图像和正常照度图像或者仅需要低照度图像就可以完成训练，可以极大的节省人力和物力。但目前的各种无监督方法中往往存在噪声难以抑制的问题，且由于无法直接调节增强图像对比度，增强后的结果往往无法保证各个局部区域均具有较好的对比度和亮度。

申请号为CN202010097457.4的一种基于深度学习的自监督低照度图像增强方法提出了一种自监督图像增强方法，以解决现有的低照度图像增强方法存在的效果差、泛化能力差以及现有深度学习方法中对低照度-正常照度数据集依赖程度高等问题，取得了良好的效果。但是该方法无法显式的约束增强后图像的对比度，其增强结果完全依赖于训练数据，导致了增强结果具有不确定性；同时当增强后图像效果不佳时，该方法无法改善增强结果；此外该方法并没有给出额外的噪声抑制手段，因此增强后图像仍然存在较为明显的噪声，如附图说明中图6所示，该图为CN202010097457.4增强后所得到图像，可以看到增强后图像仍存在部分噪声信息。

综上所述，尽管研究人员提出了各类不同的低照度图像增强方法，但是仍然存在很多问题：传统方法很难抑制噪声，甚至会带来噪声放大和颜色失真问题；有监督的训练方法尽管可以很好的抑制噪声，但是存在对应正常照度图像难以获取，且无法保证获取的正常照度图像能具有良好局部对比度，无法保证其对新设备、新环境适应性等问题；无监督方法存在难以抑制噪声，无法保证增强后结果具有良好对比度等问题。

发明内容

本发明为解决现有的自监督低照度图像增强方法中存在的无法保证增强后结果具有良好对比度、难以抑制噪声等问题，提出了一种基于深度学习的自监督低照度图像增强及去噪方法。

一种基于深度学习的自监督低照度图像增强及去噪方法，包括以下步骤：

将待增强低照度图像S′及其最大值通道图像S′_max和其期望最大值通道图像S′_{expect_max}合并为M*N*5的矩阵作为自监督低照度图像增强网络的输入，利用自监督低照度图像增强网络进行增强及去噪处理，输出为反射图像R和照度图像I；自监督低照度图像增强网络输出的反射图像R即为增强后图像；