[发明专利]一种红外和可见光图像融合方法、融合系统及应用

说明书

本发明属于图像处理技术领域，公开了一种红外和可见光图像融合方法、融合系统及应用，将红外图像和可见光图像利用小波变换进行多尺度分解，得到源图像所对应的高频部分和低频部分；将高频部分和低频部分进行各向异性扩散，生成图像的基础层和细节层；采用KL变换对异源图像的细节层进行融合，利用线性叠加的方式对基础层进行融合；将融合后的细节层和基础层进行线性重构生成最终的融合图像。本发明为了验证所提出算法的优势，将其与3种经典的融合算法进行比较，通过大量融合实验表明，相比于3种传统算法，所提出的算法无论从主观判断，还是从客观评价指标都具有更好的融合效果。

技术领域

本发明属于图像处理技术领域，尤其涉及一种红外和可见光图像融合方法、融合系统及应用。

背景技术

目前，基于多尺度方向引导滤波和卷积稀疏表示的图像融合、基于小波变换的融合方法、基于DCT变换的图像融合方法、在多尺度域内改进模糊规则的图像融合方法、基于非采样Contourlet变换的融合算法等，都是采用多尺度融合方法，都能够获得较好视觉效果的融合图像。但此类方法其融合结果存在信息保留不完整、背景与细节信息表达不完全的问题。在研究基于小波变换的多尺度图像融合指出，此类方法能够同时考虑图像边缘信息和图像内部内部区域能量特征，能够保留图像边缘信息，且图像去噪效果更好，使融合图像能够获得更佳的视觉评价效果。

单个传感器捕获的图像无法提供关于目标场景的完整信息，而使用多个传感器捕获多个图像对于了解全部信息非常重要。图像融合是通过一种给定算法，整合异源传感器在同一目标场景所采集到的多张图像为单个图像，提高图像所含信息量。可见光图像具有较高分辨率，细节表示能力强，但在光照条件较差的情况下，仅使用可见传感器拍摄的图像不足以提供完整信息。相比之下，热红外图像受环境影响较小，但其分辨率较低、细节描述能力较差。因此，为实现优势互补，提高图像精准性及可靠性，对红外图像和可见光图像进行融合。目前，在目标识别、医疗科学、人脸识别以及军事等方面，图像融合具有广阔的应用前景。

目前，根据图像表征的层次不同，图像融合由低到高可以分为像素级、特征级和决策级三个层次。决策级图像融合后图像原始信息损失较多，而像素级图像融合能尽可能保留较多信息，特征级融合图像能够好的对目标检测。近年来，在基于像素级图像融合方法中，多尺度图像融合技术融合效果较好，是一个前景广阔的发展方向。当图像中的物体、某些边缘或细节特征出现在不同尺度上，固定单一尺度无法反映图像中所有细节信息，且无法事先定义一个最优尺寸对特征进行提取，故需要在多个尺度下考虑图像内容。此外，基于非多尺度变换图像融合方法的实用场合非常有限。而多尺度融合模拟了人类视觉系统感知物体的方式，是目前最常用的像素级融合方法。这类方法对图像不同结构的细节信息可以分别进行处理，能够提高图像融合的质量，特别是可以提高图像的分辨率和清晰度。目前，小波分析是应用最广泛的多尺度分析。

在特征级融合中，采用边缘保留的图像融合方法具有更高可靠性。例如，提出的基于迭代导向滤波的图像融合算法，采用加权最小二乘法滤波，采用双边滤波方法，交叉双边滤波和提出的在三维方向上进行各向异性扩散的方法。上述思想都为将源图像分解为基础层和细节层，进行方法处理后结合形成融合图像。进行各向异性扩散能够对图像边缘和非边缘区域实现不同程度的扩散，能够图像保留更多的边缘轮廓特征，较好地抑制了噪声，视觉评价效果较好。但目前针对各向异性扩散模型提出的改进方式，大多都是针对扩散方程本身提出的，忽略了图像的自身特征信息，可能造成图像细节部分(纹理、弱边缘等)的丢失或模糊。

综上所述，现有技术存在的问题是：传统算法对红外与可见光图像融合时易出现边缘模糊以及细节分辨力弱。

解决上述技术问题的难度：针对图像边缘及细节的处理，在算法方面进行改进，主要针对图像自身特征信息，分别对图像边缘部分和非边缘部分进行不同的扩散处理，尽可能保留更多的图像信息，再进行不同方法的融合。

解决上述技术问题的意义：对图像边缘和非边缘区域实现不同程度的扩散，能够图像保留更多的边缘轮廓特征，而细节信息也能够充分保留，最后得到高质量、视觉评价效果较好的融合图像，图像的分辨率和清晰度也得到提高。