[发明专利]一种零补光实时全彩夜视成像方法及系统

说明书

本发明公开了一种零补光实时全彩夜视成像方法及系统，能够实现将普通摄像设备在照度极低的黑夜环境中无需任何补光辅助过程即可拍摄全彩清晰的白昼化图像，大大增强已有设备的夜间拍摄能力；将所述的方法运行在以FPGA为计算核心的小型化电路板中，以标准化的输入输出接口作为快速接入的技术规范，可将普通摄像头改造成具有强力夜视能力的夜视设备，而不再需要加装各种类型的补光灯，安装简便，改造成本低廉。

技术领域

本发明涉及图像处理领域，具体是涉及一种零补光实时全彩夜视成像方法及系统。

背景技术

在民用领域中，日间成像拍摄已日渐成熟。随着更高清的传感器的问世，在白昼下民用领域中已可以实现高清甚至超高清的成像拍摄，这无疑得益于日间环境光照度条件佳带来的益处；而同样的设备在夜晚条件下工作效果则大打折扣，夜间环境下，由于环境光照度大大下降，导致日间工作正常的摄像设备在夜间无法正常获取足够的光照度，导致无法清晰拍摄夜间环境下的景物，给民用的安防监控、警用侦查等均造成了较大的障碍。

为了解决夜间无法清晰拍摄的问题，行业中出现了许多有针对性的方案，例如加装强爆闪灯、照明灯或者采用近红外光照明作为辅助手段，这些方案在一定程度上补充了夜间拍摄能力不足的缺憾，但同时也带来了较大的影响。首先，为了抵御夜间环境光照度极低的问题，加装的强爆闪灯和照明灯光强过大，严重影响夜间机动车及行人的视觉安全，每年因爆闪灯造成的视觉致盲引发的交通事故多达上万起；其次，采用近红外光照明虽然利用了其处在不可见光谱从而不会影响人眼视觉的特性，但由于近红外光谱谱段单一，因此拍摄成像时将场景由彩色退变为黑白色，缺失了彩色维度后场景的观测效果大大下降；最后，不管是何种补光方式，其带来的高能耗现象都是无法避免的。

在夜间战场环境中，补光的侦查方式是完全行不通的，这样无疑是将己方的位置明示给地方。

从军民两个领域中可以得知，行业急需一种可以在零补光条件下实现实时夜间全彩成像系统及方法。

对此，在2018年国际顶级会议CVPR上发表的《learn to see in the dark》一文，提及了一种利用暗光图像计算得到明亮图像的方法，其可以在无补光的条件下实现图像明亮，但该方法存在以下的局限性：1.该方法只能针对单个相机，如果更换相机则需要从头重新训练一遍网络，做不到普适性；2、该方法只能使用摄像机最原始的RAW格式图像作为计算起点，而我们知道大部分工业相机和商用摄像设备是不提供RAW格式数据给用户的，因此该方法无法大规模商用；3、该方法实时性不高，计算效率较低，只能处理图片，无法处理视频。

发明内容

为解决上述技术问题，本发明提供了一种零补光实时全彩夜视成像系统及方法，能够处理普通拍摄设备的图像并将其增强实现零补光条件下夜间全彩成像，可以针对多种格式的图片或视频，供大规模商用。

本发明所述的一种零补光实时全彩夜视成像方法，步骤为：

步骤1、采集多个不同场景的明亮、暗光两种图像，构建数据集；

步骤2、利用高斯卷积核对每个输入的暗光图像进行卷积计算，与明亮图像进行对比，得到每个输入的暗光图像的残差信息；

步骤3、进行下采样，将步骤1得到的所有残差信息进行离散抽样；

步骤4、计算步骤2得到的图像的增强损失函数，进行亮度增强训练；

步骤5、计算步骤3得到的图像的去噪损失函数，进行去除噪声训练；

步骤6、计算步骤4得到的图像的色彩恢复损失函数，进行色彩恢复；

步骤7、进行上采样，使步骤5得到的图像恢复至原始输入图像的维度；

步骤8、得到输出图像。

进一步的，还包括长链接过程，对步骤3-步骤5损失函数计算前后各层图像之间的查验。