[发明专利]一种可见光与红外视频图像融合方法及装置

说明书

本发明公开一种可见光与红外视频图像融合方法及装置，属于计算机视觉和图像处理领域，通过拍摄同一场景的可见光图像和红外图像，检测可见光图像和红外图像中的局部特征并进行匹配，进行相机标定，得到两个相机模态图像的空间映射矩阵；对可见光图像提取暗通道，并进行阈值化，得到场景分割图，该场景分割图将图像分成天空区域和非天空区域两类；对可见光图像和红外图像提取亮度通道，根据所述空间映射矩阵和场景分割图，对可见光图像和红外图像的亮度通道进行场景自适应通道融合，得到融合图像。本发明能够使无人机目标在融合后的图像中与背景具有更大的区分性，为后续的进一步检测识别等处理提供更好的数据输入。

技术领域

本发明属于计算机视觉和图像处理领域，尤其涉及一种地对空场景下的可见光与红外视频图像融合方法及装置。

背景技术

在现实世界的户外目标监控尤其是地对空异常目标如无人机监控，在重点区域及周界防护等应用中具有十分重要的意义。低空空域环境复杂、目标多而杂，监视难度较大。尤其是无人机飞行高度低、飞行速度慢、体积小，属于典型的“低慢小”目标，对“低慢小”目标的监测在全球范围内仍是技术难题。目标检测、识别技术对于无人系统安全防御、重点区域防御等领域相关需求至关重要。当前，依赖高质量的海量数据，以深度学习为代表的人工智能技术已经在可见光的视觉目标检测、识别等领域取得了巨大突破和进展，例如，在国际标准大规模评测数据集ImageNet和Microsoft COCO上，目标检测、识别的精度已经超过了人类水平。在此基础上，如何突破真实开放场景中低空复杂环境下的“低慢小”视觉目标检测和识别是亟需解决的问题。

面对无人机等空中“低慢小”目标，在成像获取方面，传统的单一可见光视频难以支持气候恶劣条件(黑夜、雨雾等)和远程监控。激光雷达虽然在远程探测上具有一定优势，如，美国麻省理工学院林肯实验室研发的主动型激光雷达可以实现树下车辆成像探测，但成本高昂难以推广。在电磁波波谱中，波长范围为760nm～400μm的电磁波被称为红外波段。红外线的波长大于可见光波段(350～760nm)，在人的肉眼感光范围之外。由于大气对红外辐射具有吸收作用，只有少数几个波段(1～3μm、3～5μm和8～13μm)的红外辐射能够穿过大气进行传播，因而，这几个波段成为红外光学领域的重要“窗口”区。根据普朗克黑体辐射公式，一般而言，物体温度越高，其热辐射越强，包含的短波成分越多。热辐射的光谱是连续谱，波长覆盖范围理论上可从0～∞。一般温度下，物体的热辐射能量主要集中在波长较长的可见光和红外。红外辐射也是电磁波，与可见光遵循同样的物理光学定律，故同样可以对物体的红外热辐射进行光学成像。红外成像技术的发明，让人类可以观察到客观世界的另一面，相当于扩大了人类观察系统的“带宽”。红外技术目前在工业、农业、航空航天及军工领域均发挥着重大作用。因此，探索融合可见光与红外图像技术能够更好地进行“低慢小”目标的检测、识别。

发明内容

本发明提供了一种可见光与红外视频图像融合方法及装置，通过场景分割、相机标定和图像融合，简单有效地实现数据的融合。通过场景分割实现自适应的通道融合，能够使“低慢小”无人机目标在融合后的图像中与背景具有更大的区分性，为后续的进一步检测识别等处理提供更好的数据输入。

本发明通过以下技术方案来实现。

一种可见光与红外视频图像融合方法，其步骤包括：

拍摄同一场景的可见光图像和红外图像，检测可见光图像和红外图像中的局部特征并进行匹配，进行相机标定，得到两个相机模态图像的空间映射矩阵；

对可见光图像提取暗通道，并进行阈值化，得到场景分割图，该场景分割图将图像分成天空区域和非天空区域两类；

对可见光图像和红外图像提取亮度通道，根据所述空间映射矩阵和场景分割图，对可见光图像和红外图像的亮度通道进行场景自适应通道融合，得到融合图像。