[发明专利]红外图像与可见光图像融合方法

权利要求书

1.红外图像与可见光图像融合方法，其特征在于，包括如下步骤：

步骤1，RPCA图像分解

RPCA图像的分解主要分为三步，首先将RPCA图像转化为列向量M∈R^mn×1；然后利用快速ALM对M进行RPCA图像分解，从优化问题式(1)中获得mn×1的低秩分量和稀疏分量；最后将低秩分量和稀疏分量转换为m×n的矩阵；

式中|| ||_*表示矩阵的核范数，|| ||₁表示矩阵的L1-范数，λ取值L为低秩分量，S为稀疏分量；

RPCA图像分解完之后得到红外图像和可见光图像的稀疏分量和低秩分量，根据稀疏分量和低秩分量的特点，采用基于区域能量的方法融合稀疏分量、基于NSCT的方法融合低秩分量；

步骤2，稀疏分量融合规则

采用基于区域能量取大的融合规则；红外图像与可见光图像的稀疏分量融合主要分为以下三步：首先确定区域大小，然后通过式(2)计算每一点周围区域能量；

式中Q表示窗口的范围，E(m,n)为区域能量，d(m+x,n+y)表示源图像在(m+x,n+y)处的子带系数；

最后通过式(3)区域能量取大的融合规则融合稀疏分量；

式中d_F(m,n),d_TV(m,n),d_IR(i,j)分别表示融合图像，可见光图像和红外图像的稀疏分量，E_TV(m,n),E_IR(m,n)分别表示可见光图像和红外图像的区域能量；

步骤3，基于NSCT的低秩分量融合

利用NSCT对红外图像和可见光图像的低秩分量进行变换，得到相应的低通子带和带通子带；然后进行对应的子带融合；在得到融合的稀疏分量与低秩分量之后将俩分量进行叠加恢复便得到最终的融合结果。

2.根据权利要求1所述的红外图像与可见光图像融合方法，其特征在于，步骤3所述的低通子带，采用如下融合规则：

NSCT变换后的低通子带可以反映源图像的基础结构，大致体现图像轮廓的平均特性，其融合大致分为三步；首先选择窗口大小为3*3，然后通过式(2)计算区域能量；然后通过下式计算加权系数：

e(m,n)＝E_TV(m,n)/(E_TV(m,n)+E_IR(m,n)) (4)

式(4)中，e(m,n)为加权系数，E_TV(m,n)和E_IR(m,n)分别为可见光图像和红外图像低秩分量的低通子带的区域能量；

最后结合计算得到的加权系数，融合规则可表达为下式，得到融合结果，

d_F(m,n)＝e(m,n)×d_TV(m,n)+(1-e(m,n))×d_IR(m,n) (5)

式(5)中d_F(m,n)表示低通子带的融合结果，e(m,n)表示加权系数，d_TV(m,n),d_IR(m,n)分别表示可见光和红外图像低秩分量的低通子带系数，E_TV(m,n),E_IR(m,n)表分别示可见光图像和红外图像低秩分量的低通子带的区域能量。

3.根据权利要求1所述的红外图像与可见光图像融合方法，其特征在于，步骤3所述的带通子带，采用如下融合规则：

带通子带包含丰富的边缘和纹理信息，采用基于平均梯度的融合规则；首先确定窗口的大小，然后通过式(6)计算出区域的平均梯度，最后通过式(7)选择平均梯度大的点作为融合结果；

式(6)中G为平均梯度，块大小为M×N，分别表示x,y方向的梯度平方，式(7)中LF_N(i,j),LA_N(i,j),LB_N(i,j)分别表示带通子带的融合结果，红外图像的带通子带系数以及可见光的带通子带系数，G_A(i,j),G_B(i,j)分别表示红外图像和可见光图像的带通子带的平均梯度；

在得到融合的稀疏分量与低秩分量之后将俩分量进行叠加恢复便得到最终的融合结果。