[发明专利]一种半监督的低光图像增强系统

说明书

本发明涉及图像处理技术领域，尤其涉及一种半监督的低光图像增强系统。包括可见度提升模块和保真度恢复模块；可见度提升模块采用Retinex理论对图像进行分解，并引入信息熵约束；保真度恢复模块通过残差网络和U‑Net相结合方式构建，并引入L2损失、结构相似性指数、梯度损失和色彩恢复损失作为约束。本发明在网络的第一阶段，采用基于信息熵和Retinex的方法来提高图像的可见度，阶段是一个轻量级的自监督的网络，只需要输入低光图像和分钟级训练就能实现亮度提升；在网络的第二阶段，利用U‑Net和残差网络来消除第一阶段增强结果中存在的噪声和退化等问题，从而提升增强图像的视觉特性，打破了直接处理低光图像困难的问题。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种半监督的低光图像增强系统。

背景技术

在曝光不足的条件下拍摄的照片通常存在低可见度、高噪声等问题，这些问题不仅挑战着人们的视觉感知和需求，还挑战着目标检测和跟踪等传统计算机视觉任务。因此，增强低光图像成为了学术界研究的热门课题。灰度变换通过调整像素灰度值的分布和动态范围来增强图像。这种方法可以提升暗区域的亮度，且很容易实现，但它忽略了像素间的相互关系，导致增强结果较差。直方图均衡化通过累计分布函数来调整灰度值，可以在一定程度上提升图像的对比度，然而，这类方法很难处理噪声，且增强结果存在显著的颜色失真。基于频域的算法通过傅里叶变换将图像变换到频域进行滤波，然后再将其反转到空间域得到增强结果，但它的计算量较大，且变换参数的选择无法实现自适应。基于照明的方法开始考虑光照对图像的影响，如基于Retinex理论的方法将图像分解为反射率和光照两个分量，然后分别处理它们。这类算法的增强结果得到了较好的改善，但仍然存有不足，例如强噪声和颜色失真，且某些地方会出现过度增强。除此之外，它们对光照分量的估计仅在手工制作的约束下进行，不足以适应各种自然图像的复杂信号特性。

除传统方法和基于Retinex模型的方法外，基于深度学习的方法也逐渐出现在人们的视野。Lore等人(K.G.Lore,A.Akintayo,and S.Sarkar,“Llnet:A deep autoencoderapproach to natural low-light image enhancement,”Pattern Recognition 61,650–662(2017).)提出一个名为LLNet的网络，该网络采用深度自动编码器来自适应地增强低光图像并进行去噪操作。Wang等人(Wang W,Wei C,Yang W,Liu J.GLADNet:Low-lightenhancement network with global awareness.In:2018 13th IEEE internationalconference on automatic facegesture recognition.IEEE；2018,p.751–5.)提出一个名为GLAD的网络，该网络首先对输入图像进行处理，然后通过encoder-decoder生成光照的全局先验知识，最后利用这些信息对细节进行重建。Lv等人(F.Lv,F.Lu,J.Wu,et al.,“Mbllen:Low-light image/video enhancement using cnns.,”in BMVC,220(1),4(2018).)提出了一个名为MBLLEN的多分支网络，该网络先提取不同层次的特征，然后由增强模块对其增强，最后通过融合模块得到增强结果。Wei等人(C.Wei,W.Wang,W.Yang,etal.,“Deep retinex decomposition for low-light enhancement,”in British MachineVision Conference 2018,BMVC 2018,Newcastle,UK,September 3-6,2018,155,BMVAPress(2018).)提出了一个名为Retinex-Net的深度网络，并设计了两个子网以数据驱动的方式实现Retinex算法。Zhang等人(Zhang Y,Zhang J,Guo X.Kindling the darkness:Apractical low-light image enhancer.In:Proceedings of the 27th ACMinternational conference on multimedia.2019,p.1632–40.)提出一个名为KinD的网络，并为其建立了三个子网分别对应图像分解、反射率恢复和光照调节，以实现更好的增强效果。Jiang等人(Jiang Y,Gong X,Liu D,Cheng Y,Fang C,Shen X,et al.Enlightengan:Deep light enhancement without paired supervision.IEEE Trans Image Process2021；30:2340–9.)提出了一个名为EnlightenGAN的无监督网络，该网络使用非配对的数据集进行训练，打破了监督学习对成对数据集的依赖。这项工作为无监督学习在低光图像领域成为可能提供了新思路。Guo等人(C.Guo,C.Li,J.Guo,etal.,“Zero-reference deepcurve estimation for low-light image enhancement,”in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,1780–1789(2020).)提出一种零参考深度曲线估计的方法，它通过设计的高阶曲线来调整给定图像的动态范围，从而实现无监督学习。Yang等人(W.Yang,S.Wang,Y.Fang,et al.,“From fidelity toperceptual quality:A semi-supervised approach for low-light imageenhancement,”in Proceedings of the IEEE/CVF conference on computer vision andpattern recognition,3063–3072(2020).)提出一个名为DRBN的半监督网络，该网络将增强分为两个阶段，第一阶段采用监督学习对输入图像进行处理，第二阶段采用GAN网络来提高图像的视觉效果。Xu等人(K.Xu,X.Yang,B.Yin,etal.,“Learning to restore low-light images via decomposition-and-enhancement,”in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2281–2290(2020).)利用噪声在不同频率层所表现出的对比度不同，以及噪声在低频层更容易被检测的特点，提出了一个基于频率的分解和增强模型。该模型首先在低频层进行去噪操作，然后再在高频层恢复图像细节。Fan等人(M.Fan,W.Wang,W.Yang,et al.,“Integrating semanticsegmentation and retinex model for low-light image enhancement,”inProceedings of the 28th ACM International Conference on Multimedia,2317–2325(2020).)将语义信息引入到Retinex模型中，在语义信息的引导下，增强结果可以呈现出较好的视觉效果。Lv等人(F.Lv,Y.Li,and F.Lu,“Attention guided low-light imageenhancement with a large scale low-light simulation dataset,”InternationalJournal of Computer Vision 129(7),2175–2193(2021).)提出一种新的基于多分支卷积神经网络的端到端注意力引导方法，该方法以提出的区域注意力图和噪声图作为指导，同时实现亮度增强和去噪任务。Yang等人(W.Yang,W.Wang,H.Huang,et al.,“Sparsegradient regularized deep retinex network for robust low-light imageenhancement,”IEEE Transactions on Image Processing 30,2072–2086(2021).)提出一个信号先验引导层分离和数据驱动的映射网络，该网络利用稀疏梯度最小化子网来分解图像，然后用增强网络和恢复网络分别对光照分量和反射率分量进行处理，以提升对比度和消除噪声。