[发明专利]基于多粒度合作网络的极低光成像方法

说明书

本发明属于图像处理与计算机视觉领域，公开了一种基于多粒度合作网络的极低光成像方法，包括以下步骤：S1、采集相机原始信号数据，进行黑电平校正；S2、对黑电平校正后的信号进行增益处理，然后对增益以后的信号数据做降维处理；S3、将降维处理后的信号数据输入到多粒度合作神经网络，通过学习的方式，将其转换到sRGB空间，其中，所述多粒度合作神经网络包括多个依次连接的单粒度网络，其中最后一个单粒度网络为第一个单粒度网络的孪生网络。本发明不仅实现了更高的峰值信噪比（PSNR）和结构相似性度量（SSIM），而且具有更好的视觉效果。

技术领域

本发明属于图像处理与计算机视觉领域，具体涉及一种基于多粒度合作网络的极低光成像方法。

背景技术

低光或极低光照条件下的成像一直以来都是一项十分困难的任务，在低光或极低光照条件下成像设备具有较低的信噪比，传统图像信号处理(ISP)算法处理的图像会存在噪点、模糊、颜色失真等问题。要解决此问题，一种策略是延长曝光时间以获取清晰的图像，但是由于相机抖动或物体移动，曝光时间的增加会导致模糊，因此该策略不适用于视频拍摄。另一种策略是打开闪光灯，但这种策略会使得图像看起来不自然。

到现在为止，已经提出了许多方法来增强图像的质量，例如直方图均衡化算法和Retinex算法。但传统的夜间图像增强技术在实际应用中主要面临两个问题：1.通常会导致增强图像的某些区域过爆或曝光不足，同时产生大量噪声、色差等问题；2.在极弱的光照环境下，尤其是在保护高动态范围(HDR)方面仍然难以获得令人满意的结果。

发明内容

本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种基于多粒度合作网络的极低光成像方法。

为了解决上述技术问题，本发明采用的技术方案为：一种基于多粒度合作网络的极低光成像方法，包括以下步骤：

S1、采集相机原始信号数据，进行黑电平校正；

S2、对黑电平校正后的信号进行增益处理，然后对增益以后的信号数据做降维处理；

S3、将降维处理后的信号数据输入到多粒度合作神经网络，通过学习的方式，将其转换到sRGB空间，其中，所述多粒度合作神经网络包括多个依次连接的单粒度网络，其中最后一个单粒度网络为第一个单粒度网络的孪生网络，其中，第一个网络的输入为所述多粒度合作神经网络的输入input1，后面网络的输入包括所述多粒度合作神经网络的输入input1和与前面所有网络的输出。

所述步骤S1中，对采集相机原始信号数据，进行黑电平校正的公式为：

raw＝max(I_raw-512)/(1683-512)；

其中，I_raw表示相机原始信号数据，raw表示经过校正后的信号数据。

所述步骤S2中，采用原始照明图估计函数对黑电平校正后的信号数据进行非线性增益处理，具体处理办法为通过原始照明图估计函数M点乘经过黑电平校正后的信号数据raw，即得到增益后的数据grsd；

所述原始照明图估计函数的计算公式为：

其中，M表示原始照明图估计函数，m_f表示照明图函数，ε表示原始照明图估计函数的下限，在网络训练期间ε设置为1；在处理极暗HDR原始图像时ε设置为其中ratio为输入图像与参考图像之间的曝光差比值；照明图函数m_f的计算表达式为：

其中参数r用来控制图片的曝光程度，参数α用来避免x出现0，从而造成异常的输出。为通过经验设定；x表示图像的输入，即黑电平校正后的信号数据raw。

所述r和α的设定值分别为α＝10^-6和r＝1。