[发明专利]基于显著性检测与改进双通道的自适应融合方法及装置

说明书

本发明提供的基于显著性检测与改进双通道的自适应融合方法及装置，通过NSST作为多尺度分解工具，将图像分解为一个低频子带和一系列高频子带；利用FT算法指导低频子带图像的自适应加权融合；最后利用改进的双通道PCNN模型对高频子带优化处理，可以更好地表达图像的特征，取得了较好的融合效果。

技术领域

本发明涉及图像融合领域，特别涉及一种基于显著性检测与改进双通道的自适应融合方法及装置。

背景技术

图像融合是信息融合的一个重要分支，它将来自相同场景的多源图像按照某种规则融合成一幅新的图像，因此可以对该场景进行更为准确和更为全面的描述。红外与可见光融合是目前应用最为广泛的异源图像融合，红外传感器通过探测物体自身的热辐射生成图像，能够显示隐藏的热目标，受外界干扰因素影响较小；可见光成像传感器是通过捕获物体的反射生成图像，具有高分辨率的细节信息；将两者结合使用，可有效地突出目标，增加图像的理解力。

目前针对红外与可见光融合，学者们提出了许多方法，特别是针对像素级的红外和可见光图像融合。多尺度分解(MGA)是一种相对简单而且容易获得图像特征的融合方法。源图像通过多尺度的分解，形成不同尺度、不同方向的子带图像，通过对这些子带处理，最终就能获得相应的融合图像。轮廓波变换、非下采样轮廓波变换(NSCT)、双树复小波变换(DTCWT)、剪切波变换(ST)、非下采样剪切波变换(NSST)等都是目前较为常用的多尺度分解工具，但在这些众多的方法中，由于NSST分解速度最快、分解效果最为精细，因此受到很多研究者的青睐。NSST在方向局部化阶段，采用局部化小尺寸剪切滤波器，能够避免块效应和弱化吉布斯振铃现象，减少频谱的混叠现象，提高时域卷积计算效率。

图像在经过多尺度变换后，通常会对分解后的低频图像采用加权求和的融合规则，而对于红外图像和可见光图像融合时，由于两者低频分量的光谱特性差异较大，权值的简单平均规则会使融合图像对比度降低。我们希望融合后的图像能够在人眼敏感的可见光视觉背景下，自适应的将隐藏的或者显著的红外目标及区域信息融入其中，这样既不会导致融合图像重构不自然，而且很好地保留了源图像中显著目标的信息。Achanta等人提出了一种基于调频法(FT)的显著性检测方法，该方法可以对图像中显著性目标及区域较为精准地识别，从而形成相应的显著图。由于显著图包含了图像灰度值在空间分布的权重信息，因此利用它作为权重函数，可以将低频融合从加权平均变为加权自适应，有效地融合了图像中的显著信息，提高了融合效果。

高频子带由于包含了图像的边缘信息，往往采用“绝对值最大”的规则指导融合，其中较大的绝对值对应于更显著的纹理特征，但这容易丢失源图像的冗余信息。PCNN是一种新型的人工神经网络模型，由于其具有全局耦合和神经元脉冲同步的特点，已经被广泛应用于图像融合。然而传统PCNN模型的连接强度往往是恒定的，并且外界刺激一般采用单个像素值，为了弥补这些缺陷，需要对现有传统PCNN模型进行改进，并且充分利用局部图像信息，有效提取图像细节。

发明内容

本发明实施例提供了一种基于显著性检测与改进双通道的自适应融合方法及装置，可以更好地表达图像的特征，取得了较好的融合效果。

一方面，本发明提供了一种基于显著性检测与改进双通道的自适应融合方法，所述方法包括：

获取来自同一场景并进行图像配准的红外图像和可见光图像；

利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度分解得到低频子带系数和高频子带系数；

针对低频子带系数采用基于FT算法进行自适应加权融合得到低频融合系数，对高频子带系数采用改进的双通道PCNN模型进行优化处理得到高频融合系数；

利用NSST逆变换重构低频融合系数和高频融合系数得到融合图像。

另一方面，本发明还提供了一种基于显著性检测与改进双通道的自适应融合装置，所述装置包括：