[发明专利]双光谱摄像机图像融合方法及装置

说明书

本发明提供了一种双光谱摄像机图像融合方法及装置，通过对获取的可见光、红外光图像进行直方图统计从而了解当前场景红外光图像和可见光图像的亮区差异，以判断场景中是否存在灯光或反红外光物体。然后结合可见光图像的曝光增益情况，对当前画面的场景进行分类，从而在后续融合权重计算时针对灯光场景和反红外光物体场景，在亮区融合时再进行权重调整，使融合后的图像信息得以最大程度保留。在不过多消耗硬件处理时效的基础上大大改善最终的融合效果，实现夜间红外光下高品质彩色成像。

技术领域

本发明涉及一种图像处理方法，尤其是指一种双光谱摄像机图像融合方法及装置。

背景技术

传统摄像机在夜间灯光不足的情况下，摄像机获取的视频图像存在大量噪声，且拖影严重，无法实现清晰成像，严重影响了监控效果和后端智能分析。为了提升成像效果，都是通过增加补光灯的方式，通过红外灯补光，可以获取清晰的场景图像，但是会丢失颜色信息和部分细节信息；通过白光灯补光，不会丢失场景信息，但是会造成光污染，影响环境。

为此，现出现了一种双光谱摄像机，其前端采用单镜头，通过分光棱镜分离可见光和红外光入射两个传感器进行可见光和红外光分别成像。从而同时采集可见光图像和红外光图像。设备配备红外补光灯，这样红外光图像可以获取清晰的场景灰度图像，而可见光图像可以获取场景的颜色信息。通过将红外光图像的细节信息和可见光图像的颜色信息融合获得新的清晰彩色图像。实现夜间红外光下高品质彩色成像。

然而，在实际应用中，可见光和红外光成像特性存在差异，两者对同一物体的灰度和纹理表现可能不同，因此，需要在进行融合的时候针对两者的特性进行特殊处理，来提高融合后图像的效果。

发明内容

本发明所要解决的技术问题是：提供一种可适应不同场景的双光谱摄像机图像融合方法及装置。

为了解决上述技术问题，本发明采用的技术方案为：一种双光谱摄像机图像融合方法，包括步骤，

S1)获取摄像机的可见光通路的可见光视频流与红外光通路的红外光视频流；

依次对可见光视频流与红外光视频流中的每帧图像执行步骤S2-S9；

S2)对可见光视频流当前图像帧进行直方图统计，得到可见光图像直方图统计Hist3_chn0[3]；

对红外光视频流当前图像帧进行直方图统计，得到红外光图像直方图统计Hist3_chn1[3]；

S3)根据预设亮度范围将可见光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn0[0]，正常像素数量存为正常区像素Hist3_chn0[1]，高亮像素数量存为高亮区像素Hist3_chn0[2]；

根据预设亮度范围将红外光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn1[0]，正常像素数量存为正常区像素Hist3_chn1[1]，高亮像素数量存为高亮区像素Hist3_chn1[2]；

S4)计算可见光图像直方图统计与红外光图像直方图统计的直方图差异Diff_hist；Diff_hist＝abs(Hist3_chn0[2]-Hist3_chn1[2])

S5)获取可见光通路的曝光增益gain_chn0，而后根据以下逻辑原则进行场景scene分类，

S6)以可见光通路的曝光增益一半为条件，自融合权重查照表中查询得到可见光路融合权重wt_init_chn0，根据最大融合权重Max_wt减去可见光路融合权重wt_init_chn0得到红外光路融合权重wt_init_chn1；