[发明专利]双光谱摄像机图像融合方法及装置

摘要

本发明提供了一种双光谱摄像机图像融合方法及装置，通过对获取的可见光、红外光图像进行直方图统计从而了解当前场景红外光图像和可见光图像的亮区差异，以判断场景中是否存在灯光或反红外光物体。然后结合可见光图像的曝光增益情况，对当前画面的场景进行分类，从而在后续融合权重计算时针对灯光场景和反红外光物体场景，在亮区融合时再进行权重调整，使融合后的图像信息得以最大程度保留。在不过多消耗硬件处理时效的基础上大大改善最终的融合效果，实现夜间红外光下高品质彩色成像。

主权项

1.一种双光谱摄像机图像融合方法，其特征在于：包括步骤，S1)获取摄像机的可见光通路的可见光视频流与红外光通路的红外光视频流；依次对可见光视频流与红外光视频流中的每帧图像执行步骤S2‑S9；S2)对可见光视频流当前图像帧进行直方图统计，得到可见光图像直方图统计Hist3_chn0[3]；对红外光视频流当前图像帧进行直方图统计，得到红外光图像直方图统计Hist3_chn1[3]；S3)根据预设亮度范围将可见光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn0[0]，正常像素数量存为正常区像素Hist3_chn0[1]，高亮像素数量存为高亮区像素Hist3_chn0[2]；根据预设亮度范围将红外光图像中像素分类为暗像素、正常像素和高亮像素，并统计暗像素数量存为暗区像素Hist3_chn1[0]，正常像素数量存为正常区像素Hist3_chn1[1]，高亮像素数量存为高亮区像素Hist3_chn1[2]；S4)计算可见光图像直方图统计与红外光图像直方图统计的直方图差异Diff_hist；Diff_hist＝abs(Hist3_chn0[2]‑Hist3_chn1[2])S5)获取可见光通路的曝光增益gain_chn0，而后根据以下逻辑原则进行场景scene分类，S6)以可见光通路的曝光增益一半为条件，自融合权重查照表中查询得到可见光路融合权重wt_init_chn0，根据最大融合权重Max_wt减去可见光路融合权重wt_init_chn0得到红外光路融合权重wt_init_chn1；S7)判别场景scene类型，对应计算每个可见光图像像素wt_chn0(i,j)和红外光图像像素wt_chn1(i,j)的融合权重；式中，i代表视频流单帧图片的列数，j代表视频流单帧图片的行数，(i,j)代表视频流单帧图片中第j行第i列的像素；当场景scene为NormScene时：当场景scene为BlendScene_highlight时：wt_chn1(i,j)＝Max_wt‑wt_chn0(i,j)当场景scene为BlendScene_reflictlight时：判断若wt_init_chn0≥96时：wt_chn0(i,j)＝wt_init_chn0wt_chn1(i,j)＝Max_wt‑wt_chn0(i,j)若wt_init_chn0<96时：wt_chn1(i,j)＝Max_wt‑wt_chn0(i,j)；当场景scene为BlendScene_norm时：上述中，Yin_chn0(i,j)、Uin_chn0(i,j)、Vin_chn0(i,j)为可见光图像的YUV图像数据，Yin_chn1(i,j)、Uin_chn1(i,j)、Vin_chn1(i,j)为红外光图像的YUV图像数据；S8)对YUV空间下的可见光图像与红外光图像中的像素进行延时处理及帧同步处理，得到可见光图像Y通路像素数据Yin_chn0_delay(i,j)、可见光图像U通路像素数据Uin_chn0_delay(i,j)、可见光图像V通路像素数据Vin_chn0_delay(i,j)，红外光图像Y通路像素数据Yin_chn1_delay(i,j)、红外光图像U通路像素数据Uin_chn1_delay(i,j)、红外光图像V通路像素数据Vin_chn1_delay(i,j)；S9)根据下式进行图像融合计算输出的Y通路的融合像素数据Yout(i,j)、U通路的融合像素数据Uout(i,j)、V通路的融合像素数据Vout(i,j),Uout(i,j)＝Uin_chn0_delay(i,j)Vout(i,j)＝Vin_chn0_delay(i,j)。