[发明专利]基于潜在低秩表示和结构张量的图像融合方法及装置

说明书

本发明提供的基于潜在低秩表示和结构张量的图像融合方法及装置，针对现有双通道PCNN模型在解决红外图像与可见光图像融合问题时存在的不足，利用基于LatLRR算法构成的LSR算子作为PCNN模型的外界刺激，解决红外图像与可见光图像之间较大的差异性，并且利用基于结构张量奇异值分解而构成的TSV算子作为链接强度，表征图像的特征变化，一定程度上可以解决红外图像与可见光图像光谱差异较大而导致融合图像对比度较低的问题，同时较完整地保留了丰富的纹理信息和细节信息，并且图像过渡自然。

技术领域

本发明涉及图像融合领域，特别涉及一种基于潜在低秩表示和结构张量的图像融合方法及装置。

背景技术

随着数字图像处理技术、数据融合技术的不断发展，红外(IR)与可见光(VI)图像融合技术的研究已逐渐成为了研究热点。红外与可见光图像融合就是将红外图像的显著性特征与可见光图像的梯度纹理特征相结合，从而有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。由于融合后的图像可以把源图像之间的优点结合起来，因此该技术目前已广泛应用于军事侦查、计算机视觉、安全监控等多个领域。

针对IR与VI图像之间的融合，目前主要有两大类方法。第一类方法是基于多尺度分解(MST)的融合方法。MST工具如Curvelet变换，非下采样Contourlet变换(NSCT)，剪切波变换(ST)等已经成功用于图像融合领域。该类方法可以很好地提取图像的多尺度特征，但是在图像重构的过程中会平滑图像的细节，并且容易引入频谱混叠效应，影响融合效果。另一类方法则是在空间域选取具有更加明显特征的像素作为融合图像的像素，其中最具有代表性的就是PCNN方法。由于PCNN特有的仿生机制，能够保持输入图像空间二维信息的完整性，将图像的信息特征与其视觉特性完美结合，因此可以获得较好的融合效果。目前针对PCNN的研究，学者们从未停止，并且已经提出了大量的改进。传统PCNN模型大多以单通道为主，其内部含有大量不可省略的外设参数，并且多数都要靠经验设置，这导致融合的时效性与准确性大大降低。现有技术中，提出一种双通道PCNN(DUAL-PCNN)模型解决了上述问题。DUAL-PCNN继承了传统PCNN模型的所有优点，并且将单通道输入变为双通道模型输入。由于采用双通道使其内部集成了融合机制，因此很大程度上提高了PCNN模型的融合效果。作为PCNN模型内部最重要的两个参数，外界刺激与链接强度都反映了人眼视觉系统对图像不同特征区域反应的强烈程度。两个参数的设置与选择，也往往决定了最终的融合效果。为了对融合效果进行提高，学者们分别采用拉普拉斯能量和、平均梯度、空间频率等可以表征图像局部特征的算子对两个参数进行自适应设置。然而经过大量实验发现，针对图像光谱差异较大的IR与VI图像融合，上述算子容易导致PCNN模型中外界刺激与链接强度值的稳定性下降，因此最终的融合图像往往存在目标光晕和黑色伪影等问题。

发明内容

本发明实施例提供了一种基于潜在低秩表示和结构张量的图像融合方法及装置，解决了红外图像与可见光图像光谱差异较大而导致融合图像对比度偏低和出现大量黑色伪影等问题，可以更好地表达图像的特征，将可见光的纹理信息与红外图像的显著性特征完美结合，最终取得较好的融合效果

第一方面，本发明提供一种基于潜在低秩表示和结构张量的图像融合方法，所述方法包括：

获取来自同一场景并进行图像配准的红外图像和可见光图像；

利用潜在低秩表示LatLRR算法对所述红外图像和所述可见光图像进行分解得到第一显著性特征图和第二显著性特征图，对所述第一显著性特征图和所述第二显著性特征图各自的灰度值进行归一化，分别对应形成第一加权系数矩阵和第二加权系数矩阵；

利用所述第一加权系数矩阵和所述第二加权系数矩阵分别指导基于红外显著性红外显著性与可见光显著性的原图像自适应加权叠加，将叠加后的系数矩阵归一化构成低秩显著性LSR算子；