[发明专利]基于多尺度低秩矩阵分解的红外与可见光图像融合方法

说明书

本发明公开了一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法，其基于多尺度低秩矩阵分解将预处理后的红外图像和预处理后的可见光图像分解为多层次局部低秩图和全局低秩图两类，并根据各分解图像特点，针对性设计最优融合规则，得到的最终融合图像在不引入人工伪影和斑块的同时，能够保留原图的细节信息、增强热辐射显著目标，具有较好的对比度，有利于后续目标识别、检测等应用的开展。

技术领域

本发明涉及一种图像融合技术，尤其是涉及一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法。

背景技术

红外图像与可见光图像在军事、工程、科研以及日常生活等各方面都有着广泛地应用。其中，红外传感器成像基于物体的热辐射特性，具有较强的云雾穿透能力，可在复杂环境下对具有较强热辐射特性的目标进行有效成像，但红外传感器成像对物体的细节表现能力差，往往表现为图像空间分辨率低、细节纹理少、图像模糊等特点。可见光传感器成像基于物体对光的反射率特性，具有图像空间分辨率高、细节纹理丰富、图像相对清晰等特点，但可见光传感器成像受光照条件影响较大，且极易受天气、云雾遮挡等的影响。红外/可见光图像融合可集成两者优势，弥补单一传感器成像的不足，实现对成像场景全面精确地表达。

目前，红外/可见光图像融合方法主要有：基于多尺度分解的融合方法、基于稀疏表示的融合方法、基于神经网络的融合方法等。基于多尺度分解的融合方法应用较为广泛，为红外/可见光图像融合中的研究热点，其基本思想为：首先，利用金字塔、小波变换等对红外图像和可见光图像分别进行低频和高频信息的分解，得到红外图像和可见光图像各自的低频和高频分量；其次，设计合理融合规则对红外图像的低频分量和可见光图像的低频分量进行融合、对红外图像的高频分量和可见光图像的高频分量进行融合；最后，利用融合后的低频分量和融合后的高频分量重建得到最终的融合图像。基于多尺度分解的融合方法主要包括基于金字塔分解的融合方法、基于小波变换的融合方法、基于曲波变换的融合方法、基于轮廓波变换的融合方法、基于引导滤波变换的融合方法等。此外，Bavirisetti等人提出了一种基于二尺度分解和显著性检测的融合方法，其利用均值滤波和中值滤波提取基础层和细节层，并利用视觉显著性获得权重图。此外，低秩分解于近几年引入红外/可见光图像融合领域，如Li等人提出的基于低秩分解的红外/可见光图像融合方法。现阶段使用的低秩分解模型大多基于Liu提出的低秩表示LRR(low-rank representation)理论，但是这种表示方法不能很好地提取区域结构信息。因此，2011年Liu又提出潜在低秩表示LatLRR(Latent low-rank representation)理论，这种表示方法能够在一定程度上从原始数据中获取全局和局部的结构信息。Li在LatLRR理论的基础上提出了基于LatLRR理论的红外与可见光图像融合方法，一定程度上提高了融合精度。

上述基于多尺度分解的红外与可见光图像融合方法往往采用了两层分解方式，即通过一种低通滤波器得到基础层低频信息，再通过与原图相减得到细节层，然而，上述两层分解方式对红外图像和可见光图像中的空间细节信息提取不充分。尽管LatLRR方法在一定程度上分解提取了原图的显著性区域和低秩区域，但分解得到的显著性图和低秩图存在分解不彻底且互相包含，导致融合结果往往存在对比度低、细节与纹理不够清晰、热红外目标不明显等问题。

发明内容

本发明所要解决的技术问题是提供一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法，其充分考虑到红外图像和可见光图像存在的局部相关性特点和显著性目标的多尺度特点，引入了多尺度低秩矩阵分解技术，并对得到的分解图像针对性地设计最优融合规则，提高了融合对比度、细节与纹理的清晰度、热红外目标的明显程度，从而进一步提升了融合效果和精度。

本发明解决上述技术问题所采用的技术方案为：一种基于多尺度低秩矩阵分解的红外与可见光图像融合方法，其特征在于包括以下步骤：