[发明专利]一种基于显著目标的红外与可见光图像融合方法

权利要求书

1.一种基于显著目标的红外与可见光图像融合方法，其特征在于，包括以下步骤：

步骤1，利用非线性多尺度空间方法建立红外图像和可见光图像的非线性多尺度空间表示：

设有一个场景的红外图像为I(x₁,y₁)，x₁表示红外图像I中的横坐标，y₁表示红外图像I中的纵坐标；可见光图像为V(x₂,y₂)，x₂表示可见光图像V中的横坐标，y₂表示可见光图像V中的纵坐标，尺度因子记为t∈R₊，红外图像和可见光图像的非线性多尺度空间表示分别为I(x₁,y₁)×t₁→I(x₁,y₁；t₁)，t₁表示红外图像非线性多尺度空间的尺度因子，V(x₂,y₂)×t₂→V(x₂,y₂；t₂)，t₂表示可见光图像非线性多尺度空间的尺度因子：

I(x₁,y₁；0)＝I(x₁,y₁)

V(x₂,y₂；0)＝V(x₂,y₂)

其中I(x₁,y₁；0)为原始尺度的红外图像，V(x₂,y₂；0)为原始尺度的可见光图像，尺度t的初始值为原始图像中的尺度；

以高斯核函数表示的线性尺度空间是不产生新结构的高斯卷积平滑过程；

对于红外图像，得到：

I(x₁,y₁；t₁)＝I(x₁,y₁；0)*g(x₁,y₁；t₁)

红外图像尺度函数

对于可见光图像，得到：

V(x₂,y₂；t₂)＝V(x₂,y₂；0)*g(x₂,y₂；t₂)

可见光图像尺度函数

扩散方程自适应的处理图像的局部区域，从而保持不希望被模糊的信息，即扩散方法是非线性；用非线性各向同性扩散方程建立图像的非线性多尺度空间表示，确保各个尺度图像中的区域轮廓被增强，并有利于不同尺度间的对应性计算，其扩散方程如下式所示：

或

其中，表示为图像的梯度，表示图像的梯度的模值，表示的扩散系数，λ＞0表示边缘阈值；

步骤2，在图像非线性多尺度空间表示基础上，利用视觉注意计算模型计算红外和可见光图像的视觉注意显著图；

在步骤1对红外图像和可见光图像尺度空间表示基础上，分别提取颜色、亮度和方向作为引导视觉注意的低层特征，通过感受野的中央-周边差计算各类特征显著图，最后通过归一化算子得到视觉注意显著图；

(1)低层视觉特征图：

对于红外图像：

亮度特征图：记Ir(t₁)、Ig(t₁)和Ib(t₁)分别为原始红外图像中的红色、绿色和蓝色通道，其中t ₁表示尺度因子，亮度特征图为：

I(t₁)＝(Ir(t₁)+Ig(t₁)+Ib(t₁))/3

颜色特征图：对I(t₁)的r(t₁)、g(t₁)和b(t₁)通道进行归一化，得到广义上的红IR(t₁)、绿IG(t₁)、蓝IB(t₁)和黄IY(t₁)四个通道值，如下列式所示：

IR(t₁)＝Ir(t₁)-(Ig(t₁)+Ib(t₁))/2

IG(t₁)＝Ig(t₁)-(Ir(t₁)+Ib(t₁))/2

IB(t₁)＝Ib(t₁)-(Ir(t₁)+Ig(t₁))/2

IY(t₁)＝Ir(t₁)+Ig(t₁)-2*(|Ir(t₁)-Ig(t₁)|+Ib(t₁))

其中，如果通道值结果为负值则设为0；

方向特征图：利用Gabor滤波器计算红外图像的方向特征图，如下式所示：

其中(x₁,y₁)是红外图像的像素坐标，(x₀,y₀)是空域中感受野中心坐标，x₀为横坐标，y₀为纵坐标；(ξ₀,υ₀)是滤波器在频域上的最优空间频率，ξ₀为实部，υ₀为虚部，i1表示不同的方向；σ和β分别是x和y轴方向上高斯函数的标准差；取四个方向的Gabor滤波器输出作为方向特征图：四个方向分别为

对于可见光图像：

亮度特征图：记Vr(t₂)、Vg(t₂)和Vb(t₂)分别为原始可见光图像中的红色、绿色和蓝色通道，其中t₂表示尺度因子，则亮度特征图为：

V(t₂)＝(Vr(t₂)+Vg(t₂)+Vb(t₂))/3

颜色特征图：对V(t₂)的Vr(t₂)、Vg(t₂)和Vb(t₂)通道进行归一化，得到广义上的红、绿、蓝和黄四个通道值VR(t₂)，VR(t₂)，VB(t₂)，VY(t₂)，如下列式所示：

VR(t₂)＝Vr(t₂)-(Vg(t₂)+Vb(t₂))/2

VG(t₂)＝Vg(t₂)-(Vr(t₂)+Vb(t₂))/2

VB(t₂)＝Vb(t₂)-(Vr(t₂)+Vg(t₂))/2

VY(t₂)＝Vr(t₂)+Vg(t₂)-2*(|Vr(t₂)-Vg(t₂)|+Vb(t₂))

其中，如果通道值结果为负值则设为0；

方向特征图：利用Gabor滤波器计算可见光图像的方向特征图，如下式所示：

其中(x₂,y₂)是可见光图像的像素坐标；(x₀,y₀)是空域中感受野中心坐标，x₀为横坐标，y₀为纵坐标；(ξ₀,υ₀)是滤波器在频域上的最优空间频率，ξ₀为实部，υ₀为虚部，i1表示不同的方向；σ和β分别是x和y轴方向上高斯函数的标准差；取四个方向的Gabor滤波器输出作为方向特征图：四个方向分别为

(2)特征显著图

对于红外图像：

将亮度I，四个颜色分量IR、IG、IB、IY和四个方向特征图用尺度空间的方法进行表示，中央图像对应于高分辨率下的尺度，外周图像对应于低分辨率下的尺度，实现感受野和整合野的中央－外周差的计算策略，得到各特征显著图；

亮度显著图：

亮度显著图由亮度对比度产生，用I(c,s)表示亮度显著图：

其中，c为红外图像尺度空间表示中高分辨率的尺度因子，s为低分辨率尺度因子，为中央－外周差计算子，通过高分辨率图像中的像素减去低分辨率图像中的对应像素实现；

颜色显著图：

红外图像的红绿/绿红双对立图像：

其中IR(c)为红外图像的高尺度红色通道图像，IR(s)为红外图像的低尺度红色通道图像，IG(c)为红外图像的高尺度绿色通道图像，IG(s)为红外图像的低尺度绿色通道图像；

红外图像的蓝黄/黄蓝双对立图像：

其中，IB(c)为红外图像的高尺度蓝色通道图像，IB(s)为红外图像的低尺度蓝色通道图像，IY(c)为红外图像的高尺度黄色通道图像，IY(s)为红外图像的低尺度黄色通道图像；

方向显著图：

利用Gabor金字塔IO(σ1，θ)得到图像局部方向信息，其中σ1为尺度因子，θ∈{0°,45°,90°,135°}；通过局部方向对比度的计算，将方向显著图IO(c,s,θ)编码成一组：

IO(s,θ)|表示低分辨率图像的方向特征图，IO(c,θ)表示高分辨率图像的方向特征图；

对于可见光图像：

将亮度V，四个颜色分量VR、VG、VB、VY和四个方向特征图用尺度空间的方法进行表示，中央图像对应于高分辨率下的尺度，外周图像对应于低分辨率下的尺度，实现感受野和整合野的中央－外周差的计算策略，得到各特征显著图；

亮度显著图：

亮度显著图由亮度对比度产生，用V(c,s)表示亮度显著图：

其中，c为可见光图像尺度空间表示中高分辨率的尺度因子，s为低分辨率尺度因子，为中央－外周差计算子，通过高分辨率图像中的像素减去低分辨率图像中的对应像素实现；

颜色显著图：

可见光图像的红绿/绿红双对立图像：

其中VR(c)为可见光图像的高尺度红色通道图像，VR(s)为可见光图像的低尺度红色通道图像，VG(c)为可见光图像的高尺度绿色通道图像，VG(s)为可见光图像的低尺度绿色通道图像；

可见光图像的蓝黄/黄蓝双对立图像：

其中，VB(c)为可见光图像的高尺度蓝色通道图像，VB(s)为可见光图像的低尺度蓝色通道图像，VY(c)为可见光图像的高尺度黄色通道图像，VY(s)为可见光图像的低尺度黄色通道图像；

方向显著图：

利用Gabor金字塔VO(σ1，θ)，得到图像局部方向信息，其中σ₁为尺度因子，θ∈{0°,45°,90°,135°}；通过局部方向对比度的计算，可将方向显著图VO(c,s,θ)编码成一组：

(3)视觉注意显著图：

利用归一化算子N(·)，以增强显著峰较少的特征显著图，而削弱存在大量显著峰的特征显著图，对每一类特征显著图，该算子的操作包括：

1)归一化该特征显著图至0～1范围内，以消除依赖于特征的幅度差别；

2)计算除全局最大外所有局部极大的均值

3)用乘该特征显著图；

对于红外图像：

用归一化算子N(·)分别对亮度、颜色和方向显著图进行归一化处理，得到和如下式所示：

式中符号表示逐点求和；

红外图像视觉注意显著图通过以下公式计算：

对于可见光图像：

用归一化算子N(·)分别对亮度、颜色和方向显著图进行归一化处理，得到和如下式所示：

式中符号表示逐点求和；

可见光图像视觉注意显著图通过以下公式计算：

步骤3，在红外和可见光图像视觉注意显著图基础上，利用返回抑制机制分别选择出红外和可见光图像中的显著目标区域，并计算整个场景中的所有显著目标区域；

由步骤2计算得到视觉注意显著图后，选取视觉注意显著图中灰度值最大的点为首次注视点，以该点为中心，用原图像大小1/16的矩形选择出首个显著目标区域，首个显著目标区域选择出后，将首次注视点的灰度值设为零，再次选择视觉任务显著图中灰度值最大的点为第二次注视点，采用原图像大小1/16的矩形选择出第二个显著目标区域，反复循环，逐个选择出原图像中的显著目标区域，选择出的红外图像和可见光图像中的显著目标区域分别为M_I，M_V；

整个场景中的显著目标区域为M_sum＝M_I+M_V-(M_I∩M_V)；

步骤4，对红外图像和可见光图像进行配准操作，对显著目标区域采用像素级融合算法进行融合处理，对非显著目标区域，采用特征级融合算法进行融合处理；

采用关键点匹配法，对红外图像I和可见光图像V进行配准操作；

对于显著目标区域，由步骤3计算出整个场景中的显著目标区域为M_sum，其中，在红外图像和可见光图像中都显著的区域个数为M_IV＝M_I∩M_V，仅在红外图像中显著的区域个数为M_I-IV＝M_I-M_IV，仅在可见光图像中显著的区域个数为M_V-IV＝M_V-M_IV，采用像素级融合的线性加权融合算法对显著目标区域进行融合处理，得到显著目标区域的融合图像F_saliency(i,j)，用下式表示：

F_saliency(i,j)＝w_I(i,j)·I(i,j)+w_V(i,j)·V(i,j)+C

其中，I(i,j)和V(i,j)表示源图像中的像素点位置，F(i,j)表示融合图像中的像素点位置；w_I(i,j)和w_V(i,j)为权值，且w_I(i,j)+w_V(i,j)＝1；对于M_IV个在红外图像和可见光图像中都显著的区域，设置w_I(i,j)＝w_V(i,j)＝0.5；对于M_I-IV个仅在红外图像中显著的区域，设置w_I(i,j)＝0.8，w_V(i,j)＝0.2；对于M_V-IV个仅在可见光图像中显著的区域，设置w_I(i,j)＝0.2，w_V(i,j)＝0.8；

对非显著目标区域，对红外图像和可见光图像中的非显著目标区域采用特征级图像融合算法进行融合处理，采用基于主成分分析方法进行非显著目标区域的融合；

对红外图像和可见光图像分别按PCA变换原理进行变换，获得各主成分，将红外图像和可见光图像的第一主成分图像进行直方图匹配，然后将第一主成分用全色图像替换，再通过PCA反变换得到融合图像F_non-saliency(i,j)；

步骤5，综合显著目标区域融合结果和非显著目标区域融合结果，生成全场景的红外图像和可见光图像融合图像；

在步骤4计算出场景中显著目标区域的融合图像F_saliency(i,j)和非显著目标区域图像F_non-saliency(i,j)的基础上，计算整个场景的红外图像和可见光图像的融合结果，如下式所示：

F(i,j)＝F_saliency(i,j)+F_non-saliency(i,j)。