[发明专利]一种基于显著目标增强的红外和可见光融合方法

说明书

本发明属于图像处理和计算机视觉领域，一种基于显著目标增强的红外和可见光融合方法，本发明采用一对红外相机和可见光相机获取输入图像，利用双目相机和NVIDIATX2构建高性能运算平台，并构建高性能求解算法以获高质量的红外和可见光融合图像。系统容易构建，分别使用立体双目红外和可见光相机即可完成输入数据的采集；程序简单，易于实现；利用红外和可见光相机成像的不同原理，通过用于滤波分解把输入图像分解成背景层和细节层，针对背景层设了基于显著像素增强融合方法，针对细节层设计基于图像梯度增强融合算法，该算法有效增强了融合图像的质量并有效保留双边图像的显著信息，最后通过GPU加速达到实时。

技术领域

本发明属于图像处理和计算机视觉领域，涉及一种基于显著目标增强的红外和可见光融合方法。

背景技术

基于可见光波段的双目立体视觉技术发展愈发成熟，可见光相机的成像具有丰富的颜色信息且细节纹理，因而可以快速、准确的获得双目图像之间的立体匹配信息，从而可以获取较为准确的场景深度信息。但是，可见光波段成像存在其缺陷，如在光照条件不充分，暴雨，大雾等天气情况下，其成像质量大大下降，大幅降低了匹配的精度。因此利用不同波段信息源的互补性建立彩色图像融合系统，是实现极端环境下实现更可信的图像感知的有效途径。如利用可见光波段双目相机与红外波段双目相机构成多波段立体视觉系统，利用红外成像不受雾雨雪、光照影响优势，弥补可见光波段的成像不足，从而获取更完整、精确的融合信息。

多模态图像融合技术是利用不同传感器各自的优势，采用特定的算法或规则进行融合，获取高可靠性、视觉友好的一种图像处理框架。相比于同模态融合图像单一性，多模态图像融合可以获取更多图像信息，逐渐成为解决森林火警监控，无人驾驶，军事监控，月球探测的不可或缺方法。其目标是利用不同模态传感器成像的差异性和互补性，极大限度地提取各模态的图像信息，使用不同模态的源图像融合出一张信息丰富、真实度高的合成图像。因此多模态图像融合会对图像产生更全面的认识和更准确的定位。近年来，大多融合方法都是基于变换域进行研究设计，没有考虑到图像多尺度的细节信息，导致融合后的图像中细节丢失，如公开专利CN208240087U[中文]一种红外与可见光融合系统及图像融合装置。因而本发明在通过对红外和可见光进行数学建模后对其进行最优化求解，在保留红外和可见光图像的有效信息的基础上，实现细节的增强且去除伪影。

发明内容

本发明旨在克服现有技术的不足，提供了一种基于显著背景和目标增强的实时多模态图像融合算法。通过设计针对红外和可见光图像进行滤波分解得到背景层和细节层，针对背景层进行显著像素分布增强的融合，对细节层进行目标梯度增强的融合，最后通过GPU实现实时多模态图像融合。

本发明的具体技术方案的步骤如下：

一种基于显著目标增强的红外和可见光融合方法，步骤如下：

第一步：获取配准好的红外和可见光图像：

1-1)分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；

1-2)利用张正友标定法对每台红外相机、可见光相机分别进行标定，获得每台相机的焦距、主点位置等内部参数和旋转、平移等外部参数；

1-3)利用联合标定获得的RT及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系运用单应性矩阵进行可见光图像到红外图像的配准。

第二步：对可见光图像进行色彩空间的转换，从RGB图像转成HSV图像，提取彩色图像的明度信息作为图像融合的输入，保留其原有色调及饱和度；

2-1)针对可见光图像是RGB三通道的问题，进行RGB色彩空间到HSV色彩空间的转换，提取可见光图像的V(明度)信息与红外图像进行融合，保留其 H(色调)，S(饱和度)，具体转换如下所示：

R′＝R/255G′＝G/255B′＝B/255