[发明专利]一种基于RAW图像的低弱光图像增强方法与装置

说明书

本发明涉及一种基于RAW图像的低弱光图像增强方法与装置，属于图像处理技术领域。本方法提出了用于低弱光图像增强的多尺度并行深度神经网络，通过卷积模块化设计实现不同深度网络分支的级联，以充分提取互补特征，合理分配计算资源。同时，深入分析基于RAW格式低弱光图像的数据优势，充分利用高分辨率RAW图像特别是绿色通道的空间信息和通道特性，从而达成更好的细节特征提取和隐藏信息挖掘，实现了基于RAW图像的高效低弱光图像增强，做到图像增强质量与模型处理效率之间的平衡兼顾。本发明有效提升了低弱光图像增强网络对不同信息含量的低弱光图像的鲁棒性恢复能力，提升了真实图像低弱光增强的质量，保证了真实低弱光增强图像的真实性。

技术领域

本发明涉及一种基于RAW图像的低弱光图像增强方法与装置，属于图像处理技术领域。

背景技术

低弱光环境，即光线强度较低的环境，例如在夜间城市灯光、月光、星光条件下的环境等。在低弱光条件下采集的图像即为低弱光图像。此时，光线不足，图像传感器收集的光子较少，图像信号较弱，导致低弱光图像具有较强的噪声和较低的信噪比，场景信息丢失严重难以恢复。RAW图像(RAW Image Format)，是图像感应器将捕捉到的光源信号转化为数字信号的原始数据，是未经处理、未经压缩的格式。RAW图像相对于常用的JPEG格式的sRGB图像，保留了更多信息，具有更好的动态范围。针对低弱光图像的增强技术，能够解决低弱光区域亮度不足、对比度低和颜色失真等一系列图像质量退化问题，使图像得以显示更多的视觉信息，是一个对图像处理和下游视觉相关任务及产业都具有重大影响的技术。

当前，主流的图像处理方法，主要是针对8位量化JPEG等格式的sRGB(standardRed Green Blue，标准红绿蓝色彩空间)可视化图像进行设计与处理，这种图像都是经过图像采集设备内置ISP算法(Image Signal Processor，图像信号处理)从RAW域图像处理所得的，该过程会使低弱光图像仅有的语义信息进一步丢失，有时甚至会导致场景信息的永久丢失。如若将RAW格式图像直接作为图像处理算法的输入，一方面，从相机传感器获取的RAW图像比sRGB图像包含更多的信息和更高的比特值，直接从通常为14位的RAW图像中提取信息可以有效避免sRGB图像在量化时导致的信息丢失问题；另一方面，RAW图像几乎保持着图像曝光和场景亮度之间的线性相关性，即图像像素值直接与真实世界的信号强度相关，进一步避免低弱光场景有限信息的丢失。

现有的低弱光图像增强技术，主要利用深度学习架构实现将低弱光图像转化增强为正常光照图像这一过程，并能有效去除噪声，提高图像信噪比，其实际算法效果远超基于人工先验模型的传统方法。但是，此类方法由于参数空间巨大，不可避免会导致内存占用大、计算成本高，因此，其难以在计算和存储资源有限的嵌入式平台上运行，而且推理时间长，无法实现高效的低弱光图像增强，不适合于实际场景进行部署应用。

对于数据驱动的低弱光图像增强方法，在实际应用过程中，一方面在效率方面，要具有较小的内存占用、较少的模型参数、较低的计算成本，满足实时性和轻量化需求，另一方面，在性能方面也要兼顾亮度恢复、颜色偏差、噪声抑制等图像增强效果层面的挑战。由于性能和效率在实际算法设计过程中往往是相互矛盾的，现有方法通常会选择为了更好的增强性能而牺牲模型的速度和计算效率，甚至放弃对于4K分辨率图像等复杂高计算量场景的处理，这也导致相关方法的实用性大大降低。

综上所述，为了实现在移动设备上高分辨率真实低弱光图像增强结果的快速获取，并且克服现有技术较难兼顾图像增强质量与模型计算效率的问题，迫切需要一种高效且恢复效果好的低弱光图像增强方法，能够利用轻量化深度学习框架，解决4K低弱光图像的噪声、颜色偏差和细节恢复的问题。

发明内容

本发明的目的是针对现有技术存在的缺陷，特别是针对现有技术存在的难以兼顾算法性能和模型效率，无法有效部署应用于计算和存储资源有限的嵌入式移动平台，以及常用作为输入的sRGB格式图像经压缩处理后信息丢失等技术问题和不足，创造性地提出一种基于RAW图像的低弱光图像增强方法与装置。

本发明的创新点包括：