[发明专利]一种基于神经网络的低光图像质量增强装置和方法

说明书

本发明公开了一种基于神经网络的低光图像质量增强装置和方法。该装置包括核心神经网络和二分类神经网络。其中核心神经网络通过多重曝光模拟、特征提取和特征融合，对输入的低光图像进行质量增强与重建。二分类神经网络用于对核心神经网络进行质量评估，并将评估结果为质量低的图像返回核心神经网络中进行二次增强。一种基于神经网络的低光图像质量增强方法通过所述的核心神经网络进行图像质量增强。然后拍摄多组不同光照条件下的图片，其中正常光照条件下的图片作为参考图片，低光图片经过核心神经网络作为退化图片，并分别标记，然后用于训练二分类神经网络。最终使用训练好的二分类神经网络对核心神经网络输出的重建图像进行评估。

技术领域

本发明属于图像重建技术领域，涉及图像重建中低光增强的方法，具体涉及一种基于神经网络的低光图像质量增强装置和方法。

背景技术

由于拍摄设备、场景条件等诸多因素都可能影响到数字图像的最终成像质量，因此图像增强技术从数字图像兴起开始就被广泛的研究，并且一直是计算机视觉中一个重要的技术分支。而当相机参数设置不合理或场景光照条件不足导致最终的数字图像出现可见度差、对比度低以及噪点多等问题时，就需要用到图像增强技术中的低光图像增强技术。

在拍摄过程中进行画面改善的方法有延长相机曝光时间、提高感光度ISO等，但是延长曝光时长会引入抖动而造成模糊、提高感光度会引入更多噪点且颗粒感增大，这些方法都会引入新的问题造成图像质量下降。针对成片进行低光图像增强的方法主要包括三类：基于非物理模型的方法、基于Retinex理论的物理模型方法以及基于深度学习的方法。其中，基于非物理模型的方法主要通过直接调整图像像素值的方式，例如直方图均衡、Gamma矫正等，但这些方法通常效果有限，且容易破坏视觉效果。基于Retinex理论的物理模型方法根据人类视觉的亮度与色彩恒定性理论，对低光图像进行入射分量和反射分量的拆分，构建数学成像模型，这种方法相比于基于非物理模型的方法更加有效、合理，但在光线极弱的环境下依靠物理模型重建就会变得相对困难。

近年来，深度学习迅速发展，开始在各个领域崭露头角，也发展了使用深度学习增强低光照图像的方法，有同样基于Retinex理论提出的RetinexNet方法，其通过深度学习修正入射分量和进行去噪处理，最后重建图像；也有基于Retinex提出的直接学习明暗图像的端到端映射来重建图像的方法，但基于Retinex理论对于物理模型的要求较高，同时对噪点的去除能力还有待提升；还有使用了GAN网络在非配对图像上进行学习，将低光图像映射到正常图像的EnlightGAN方法，但GAN网络会生成原图没有的信息，“无中生有”，且GAN网络不稳定，难以训练；还有可以不需要参考图像就能训练的Zero-DCE方法，将增强任务转化为Image-Specific曲线估计问题实现低光增强，但各项性能指标还处于较落后的水平。

发明内容

针对现有技术的不足，本发明提出了一种基于神经网络的低光图像质量增强装置和方法，使用神经网络学习数码相机拍摄的低光图像到RGB格式的正常图像的映射，实现低光增强效果；然后将增强后的图像进行二分类，针对个别低质量图像通过神经网络进行再增强，最终实现高质量的低光增强效果。

一方面，一种基于神经网络的低光图像质量增强装置包括用于低光图像质量增强的核心神经网络和对增强后的低光图像进行质量评估的二分类神经网络。

所述核心神经网络，包括依次级联的多重曝光模拟模块、核心增强模块和特征融合模块。

所述多重曝光模拟模块，对输入的C通道低光图像数据逐通道分别乘以M个预设亮度系数，相加后得到C×M个通道的曝光模拟数据。