[发明专利]基于谱图小波变换的红外与可见光图像融合方法及其装置

说明书

技术领域

本发明属于图像融合处理技术领域，具体涉及一种基于谱图小波变换的红外与可见光图像融合方法及其装置。

背景技术

图像融合在图像分析和计算机视觉方面有着重要的意义。通过图像融合技术可以将从不同成像传感器获取同一场景的图像有机组合成一幅图像，其能有效地互补不同成像传感器所获取图像的优势，形成一幅能真实清晰反映客观场景的图像，以便对图像进一步分析、理解以及目标的检测与识别等。

从二十世纪八十年代开始，多传感器图像融合已引起了广泛的兴趣和研究热潮，其在机器学习、遥感、计算机视觉、医学图像处理以及军事应用中有着广泛的应用前景。经过近三十年的发展，图像融合技术已形成了一定的规模，国内外也都开发出许多用于不同领域的融合系统，但是，这并不意味着图像融合技术已相当成熟了。从国内外目前的研究情况来看，图像融合技术在理论和技术方面均存在有待解决的问题。

随着新的信息理论的不断发展及国外内学者对图像融合不断深入全面地研究，图像融合研究取得了较大的进步。近年来，国内外学者提出了许多图像融合方法，其中，基于多尺度变换的图像融合方法是目前被广泛采用的方法，如文章《Image sequence fusion using a shift-invariant wavelet transform》，Image Processing,1997.Proceedings.,International Conference on.IEEE,1997,3:288-291，因为小波变换不能很好地捕捉图像的边缘和纹理信息，而且，该方法用简单的系数绝对值取大的融合规则，得到的融合图像效果不理想。此后，KorS等人便提出了基于提升小波变换的特征级图像融合方法，参见文章《Feature level fusion of multimodal medical images in lifting wavelet transform domain》，Engineering in Medicine and Biology Society,2004.IEMBS'04.26th Annual International Conference of the IEEE.IEEE,2004,1:1479-1482，该方法通过计算小波变换系数的梯度，并通过比较两幅图像的小波变换系数梯度之差与设定的阈值的大小来确定融合系数，该方法所得到的融合图像尽管效果有所改善，但是，还是难以满足要求。随着非下采样轮廓波变换(NSCT)的兴起，学者们已将NSCT应用于图像融合中，参见《Image fusion based on nonsubsampled contourlet transform for infrared and visible light image》，Infrared Physics&Technology,2013,61:94-100.该方法获得的融合图像细节较丰富，纹理较清晰，视觉效果优于前两种方法，这是由于NSCT具有：(1)高度冗余性，与有用信息有关的NSCT系数在各个细节子带内呈现稀疏性分布；(2)NSCT采用的是具有各向异性的Contourlet基，是的各个细节子带“描述”的是源图像在不同方向上的细节信息，因此具有多方向选择性；而且，这种基于NSCT的图像融合方法对低频子带系数和带通方向子带系数分别采用基于区域视觉特性和交互梯度融合规则。但NSCT也有自身的不足：由于NSCT采用的方向滤波器为扇形滤波器的非下采样滤波器组，通过此滤波器获得带通方向子带系数；从而使得基于NSCT的图像融合方法的计算量较大，不利于实际应用。为了克服NSCT的不足，Glenn Easley等便提了《Sparse directional image representations using the discrete shearlet transform》(NSST)，其优势在于：剪切变换对剪切操作没有方向数目的限制、剪切操作的支撑没有大小限制，而且，离散剪切变换的逆变换仅仅需要剪切滤波器的合成，而不是方向滤波器组的逆向合成；因此，NSST不仅能够更好地对源图像进行稀疏表达，而且其运行速度也比NSCT快。鉴于NSST的上述优势，学者们便已将NSST理论引入到图像融合中，参见文章《Technique for gray-scale visual light and infrared image fusion based on non-subsampled shearlet transform》，Infrared Physics&Technology,2014,63:110-118；该方法对经NSST分解得到的低频子带系数和高频子带系数分别采用区域能量均值和局部方向对比度的融合规则进行融合，所得到的融合图像相对基于NSCT所得的融合图像，清晰度和空间活跃度有所提升，但是信息量、对比度等依然相对较低，整体效果还是不尽人意。