[发明专利]基于NSCT域底层视觉特征的可见光和红外图像融合方法

说明书

本发明提出了一种基于非下采样轮廓波变换(NSCT)域底层视觉特征的可见光和红外图像融合算法。首先将可见光和红外图像经NSCT变换得到二者的高低频子带系数，然后联合相位一致性、邻域空间频率和邻域能量等信息，综合衡量低频子带系数的像素活跃水平，分别得到可见光和红外图像低频子带系数的融合权重，从而得到融合图像的低频子带系数；结合相位一致性、清晰度和亮度等信息衡量高频子带系数的像素活跃水平，分别得到可见光和红外图像高频子带系数的融合权重，进而得到融合图像的高频子带系数，最后利用NSCT逆变换，得到最终的融合图像。本发明能够有效地保留源图像的细节信息，同时综合可见光图像和红外图像的有用信息。

技术领域

本发明涉及一种基于非下采样轮廓波变换(NSCT)域底层视觉特征的可见光和红外图像融合方法，属于图像融合数据处理技术领域。

背景技术

在图像处理领域，图像融合是一项很有发展前景的研究。图像融合技术通过综合同一场景的多传感器图像或者不同场景的同一传感器图像的有用信息来合成一幅复合图像。而合成的复合图像具有前者所有的特征信息，更适合用于后期的处理和研究。一个高效的融合方法可以根据实际需求处理多通道信息。这些优势使得图像融合在很多领域里都特别受欢迎。例如，遥感成像，计算机视觉，侦查，监控等领域。尤其是可见光和红外图像的融合，在军事领域中起到了很重要的作用。

随着图像融合研究的不断深入，很多的学者提出了很多的图像融合算法。根据对输入图像的处理方式的不同，主流的红外和可见光图像融合算法主要分为五类：基于置换的技术，基于分割技术，基于神经网络技术，基于数学形态学技术和基于多尺度变换技术。基于置换的技术在融合中容易引起光谱的变形。基于分割的技术过分依赖于分割算法，而通常一个好的图像分割算法往往是不容易得到的。基于神经网络的算法需要人工设置大量的参数。基于数学形态学的算法在图像融合中也发挥着很重要的作用，但是一些原始图像中的细节可能会在最终的融合结果中被平滑。和以上四类算法相比，多尺度变换方法更符合人眼的视觉特征。

多尺度变换对图像融合来说是一项有效的方法。近年来，多尺度变换方法已经在很多图像融合的研究中得到广泛的应用，尤其是可见光和红外图像的融合。一些常见的多尺度变换有拉普拉斯金字塔(LP)变换，金字塔变换(PT)，离散小波变换(DWT)，静态小波变换(SWT)，轮廓波变换(CT)，曲波变换(CVT)和非下采样轮廓波变换(NSCT)等。然而，拉普拉斯金字塔变换，金字塔变换和静态小波变换都无法很好地保存源图像的空间细节信息并且容易导致块效应。离散小波变换由于不能捕捉源图像中的静态特征而导致在融合图像中出现“吉布斯”现象。曲波变化也不能捕捉到源图像中的空间信息。对于轮廓波变换来说，由于在分解中存在上采样和下采样操作，缺乏平移不变性，容易导致混频现象。而非下采样轮廓波变换取消了上下采样操作，从而克服了这一缺点。

在图像融合中，除了融合工具之外，有效的融合规则也至关重要。近年来，有很多的学者提出了很多有效的基于多尺度变换的融合算法。大概可以分为三类：基于单个像素的，基于窗口的和基于区域的。基于单个像素的融合最常见的规则是“绝对值最大选择”策略；基于窗口的融合规则主要是根据当前像素的活跃水平，而活跃水平由窗口内像素之间的关系来度量，常见的活跃因子包括绝对分量和(SML)、空间频率(SF)、对比度(Contrast)等等；基于区域的融合方法的基本思想就是对不同子带系数进行分割，然后选择更清晰的区域进行融合。对于多尺度融合方法来说，清晰度因子在提高融合性能方面至关重要，通常传统的清晰度因子是基于单个图像局部特征设计的。实际上，人眼视觉系统主要是靠图像的底层特征来理解一幅图像的，也就是说由清晰度这一个底层特征所反映的视觉信息是非常有限的。

发明内容

本发明的目的在于针对现有技术的缺点和不足，提出了一种基于NSCT域底层视觉特征的可见光和红外图像融合技术方案。

本发明所采用的技术方案是一种基于NSCT域底层视觉特征的可见光和红外图像融合方法，包括以下步骤：