[发明专利]基于Framelet框架的红外与可见光图像融合方法

说明书

本发明涉及图像融合技术领域，具体为基于Framelet框架的红外与可见光图像融合方法，包括：S100：采用Framelet变换对红外图像以及可见光图像进行分解；S200：对红外图像和可见光图像的高频子带采用卷积稀疏表示进行系数分解；分别采用活动测度水平取大和加权平均规则进行细节层和基本层的融合；S300：对红外图像以及可见光图像的低频子带定义ISR算子进行融合；S400：对融合后的高频子带系数和低频子带系数采用Framelet反变换，获取最终的融合结果。本申请的基于Framelet框架的红外与可见光图像融合方法，能够解决目前融合方法在保留融合图像细节信息的同时不能有效保持融合目标轮廓的缺点，有效提升红外与可见光图像融合的质量，并且还具有抗误配能力，能够克服在融合前可能存在的配准误差。

技术领域

本发明涉及图像融合技术领域，具体为基于Framelet框架的红外与可见光图像融合方法。

背景技术

图像融合是一种增强技术，旨在组合由不同类型的传感器获得的图像，以生成稳健或信息丰富的图像，以便于后续处理或帮助决策。优秀融合方法的关键是有效的图像信息提取和适当的融合原理，它允许从源图像中提取有用信息并在融合结果中集成，而不会在过程中引入任何伪像。在信息爆炸时代，传感器技术正在迅速发展。某些复杂应用的出现需要有关某种情况的全面信息，以便加深对各种条件的理解。

相同类型的传感器仅从一个方面获取信息，因此无法提供所有必需的信息。因此，融合技术在现代应用和计算机视觉中发挥着越来越重要的作用。

红外和可见图像共享互补特性，从而产生稳健且信息丰富的融合图像。可见图像通常具有高空间分辨率和相当大的细节和明暗对比。因此，它们适合于人类视觉感知。然而，这些图像很容易受到严苛条件的影响，例如光线不足，雾气和恶劣天气的其他影响。同时，描绘物体的热辐射的红外图像抵抗这些干扰，但通常具有低分辨率和差的纹理。因此，由于所使用的图像的普遍和互补的特性，可见和红外图像的融合技术可以用于比其他融合方案更多的领域。物体识别、检测、图像增强、监视和遥感是红外和可见光图像融合的典型应用。

目前，红外与可见光图像融合主要分为2大类，包括基于空域的融合方法以及基于变换域的融合方法。其中基于空域的融合方法主要在像素本身上进行融合规则的设置，主要包括基于子空间的融合方法以及基于显著性的融合方法。子空间融合方法的思路是将高维输入图像投影到低维空间或子空间中，帮助研究人员获取更多图像的内在结构信息；而基于显著性的融合方法根据人类视觉系统的机制，可以保持显著对象区域的完整性，并提高融合图像的视觉质量。基于空间域的方法直接在图像像素点上进行处理，但是大部分都需要对图像本身进行块处理，而容易使得融合结果产生块效应。

基于变换域的融合方法思路是将图像从空域变换到某个特定的框架域以内，然后在该域内采用某种规则进行融合，最后再反变换回去获取最终的融合结果。而该类融合方法的主要创新点是在变换框架的改进以及域内融合规则的改进上，目前比较热门的变换方法包括小波方法、NSCT方法以及NSST方法等。而Framelet变换相比较于普通的小波变换具有更小的重建误差，且时间尺度平面更加密集，已经被用于图像去噪以及图像融合。

文献“唐守军,万伟,刘永福.Framelet变换结合HSV的多模态图像融合方法[J].西南师范大学学报(自然科学版),2018,43(01):31-39.”(后文简称为文献[1])，利用Framelet变换结合人类视觉系统针对医学多模态图像进行融合。但是作者在变换域融合规则的设置上相对比较简单，并且没有考虑待合图像可能出现的误配情况。

目前并没有基于Framelet变换的红外与可见光图像融合相关研究，并且在其它多模态图像融合方法中，也存在融合规则的设置较简单，不具有平移不变性、融合过程中容易图像误配而产生的融合伪影等缺点。

发明内容

本发明意在提供基于Framelet框架的红外与可见光图像融合方法，能够解决现有技术不具有平移不变性、融合过程中容易图像误配而产生的融合伪影等问题。