1.基于NSCT域底层视觉特征的可见光和红外图像融合方法,其特征在于,包括以下步骤:
步骤1,输入可见光和红外图像并进行NSCT变换,分别得到可见光图像和红外图像的子带系数,所述子带系数包括低频子带系数和高频子带系数;
步骤2,根据可见光和红外图像低频子带系数的相位一致性、邻域空间频率和邻域能量信息计算融合图像的低频子带系数;
计算可见光和红外图像低频子带系数的相位一致性:
PC V I L ( x , y ) = Σ k E V I , θ k L ( x , y ) ϵ + Σ n Σ k A V I , n , θ k L ( x , y ) ]]>
PC I R L ( x , y ) = Σ k E I R , θ k L ( x , y ) ϵ + Σ n Σ k A I R , n , θ k L ( x , y ) ]]>
分别表示可见光和红外图像在像素点(x,y)的低频子带系数的相位一致性,L表示低频,VI和IR分别表示可见光和红外图像,n={0,1,...,J-1},k={0,1,...,K-1},J和K分别表示可见光和红外图像在傅里叶频域分解的尺度数量和方向数量,θk表示滤波器的方向角,分别表示可见光和红外图像像素点(x,y)的低频子带系数在第n尺度,θk方向角的傅里叶频域的局部能量,分别表示可见光和红外图像像素点(x,y)的低频子带系数在第n尺度,θk方向角的傅里叶频域的局部振幅信息,ε为正常量;
计算可见光和红外图像低频子带系数的邻域空间频率:
SCM V I ( x , y ) = Σ ( x 0 , y 0 ) ∈ Ω 0 ( I L , V I ( x , y ) - I L , V I ( x 0 , y 0 ) ) 2 ]]>
SCM I R ( x , y ) = Σ ( x 0 , y 0 ) ∈ Ω 0 ( I L , I R ( x , y ) - I L , I R ( x 0 , y 0 ) ) 2 ]]>
SCMVI(x,y)、SCMIR(x,y)分别表示可见光图像和红外图像在像素点(x,y)的低频子带系数的空间频率,IL,VI(x,y)、IL,IR(x,y)分别表示可见光图像、红外图像在像素点(x,y)的低频子带系数,IL,VI(x0,y0)、IL,IR(x0,y0)分别表示可见光图像、红外图像在像素点(x0,y0)的低频子带系数,Ω0表示预设的邻域,(x0,y0)表示以像素点(x,y)为中心的邻域Ω0内任意一点;
将可见光和红外图像中所有像素的低频子带系数的空间频率构成矩阵并计算可见光和红外图像低频子带系数的邻域空间频率LSCMVI(x,y),LSCMIR(x,y);
计算可见光和红外图像低频子带系数的邻域能量:
LEN V I ( x , y ) = Σ m = - ( M - 1 ) / 2 ( M - 1 ) / 2 Σ n = - ( N - 1 ) / 2 ( N - 1 ) / 2 I L , V I ( x + m , y + n ) 2 ]]>
LEN I R ( x , y ) = Σ m = - ( M - 1 ) / 2 ( M - 1 ) / 2 Σ n = - ( N - 1 ) / 2 ( N - 1 ) / 2 I L , I R ( x + m , y + n ) 2 ]]>
LENVI(x,y)、LENIR(x,y)分别表示可见光图像、红外图像在像素点(x,y)的低频子带系数的邻域能量,IL,VI(x+m,y+n)、IL,IR(x+m,y+n)分别表示可见光图像、红外图像在像素点(x+m,y+n)的低频子带系数,M×N表示预设的邻域大小,(x+m,y+n)表示以(x,y)为中心的邻域M×N内任意一点;
计算可见光和红外图像低频子带系数的像素活跃水平:
NAMVI(x,y)=[PCL,VI(x,y)]α×[LSCMVI(x,y)]β×[LENVI(x,y)]γ
NAMIR(x,y)=[PCL,IR(x,y)]α×[LSCMIR(x,y)]β×[LENIR(x,y)]γ
NAMVI(x,y)、NAMIR(x,y)分别表示可见光和红外图像在像素点(x,y)的低频子带系数的活跃水平,α、β、γ分别表示相位一致性信息、邻域空间频率和邻域能量的权重;
将可见光和红外图像中所有像素的低频子带系数的活跃水平构成矩阵,设置滑动窗口Ω1,计算可见光和红外图像的低频子带系数的融合权重:
LmapVI(x,y)、LmapIR(x,y)表示可见光和红外图像在像素点(x,y)的低频子带系数的融合权重,X×Y表示滑动窗口Ω1大小,LsumVI(x,y)、LsumIR(x,y)分别表示可见光和红外图像在滑动窗口Ω1内活跃水平较大的像素数量;
表示集合的势,(x0,y0)表示滑动窗口Ω1内任意一点;
计算融合图像低频子带系数IL,F(x,y):
IL,F(x,y)=IL,VI(x,y)×LmapVI(x,y)+IL,IR(x,y)×LmapIR(x,y);
步骤3,根据可见光和红外图像高频子带系数的相位一致性信息、清晰度和图像亮度计算融合图像的高频子带系数;
计算可见光和红外图像高频子带系数的相位一致性:
PC V I l , p ( x , y ) = Σ k E V I , θ k l , p ( x , y ) ϵ + Σ n Σ k A V I , n , θ k l , p ( x , y ) ]]>
PC I R l , p ( x , y ) = Σ k E I R , θ k l , p ( x , y ) ϵ + Σ n Σ k A I R , n , θ k l , p ( x , y ) ]]>
分别表示可见光和红外图像在像素点(x,y)的第l尺度、第p方向高频子带的相位一致性信息,l和p分别表示高频子带系数的尺度和方向,分别表示可见光和红外图像像素点(x,y)的第l尺度、第p方向高频子带系数在第n尺度、θk方向角的傅里叶频域的局部能量,分别表示可见光和红外图像像素点(x,y)的第l尺度、第p方向高频子带系数在第n尺度、θk方向角的傅里叶频域的局部振幅,ε是正常量;
计算可见光和红外图像高频子带系数的清晰度:
NSM V I l , p ( x 0 , y 0 ) = [ I H , V I l , p ( x , y ) - I H , V I l , p ( x 0 , y 0 ) ] 2 , ( x 0 , y 0 ) ∈ Ω 2 ]]>
NSM I R l , p ( x 0 , y 0 ) = [ I H , I R l , p ( x , y ) - I H , I R l , p ( x 0 , y 0 ) ] 2 , ( x 0 , y 0 ) ∈ Ω 2 ]]>
分别表示可见光和红外图像在像素点(x0,y0)的第l尺度、第p方向的高频子带系数的清晰度,H表示高频子带系数,分别表示可见光和红外图像在像素点(x,y)的第l尺度,第p方向的高频子带系数,分别表示可见光和红外图像在像素点(x0,y0)的第l尺度,第p方向的高频子带系数,Ω2表示预设的邻域,(x0,y0)表示以(x,y)为中心的预设邻域Ω2内任意一点;
计算可见光和红外图像在像素(x,y)第l尺度,第p方向的高频子带系数的像素活跃水平:
HAM V I l , p ( x , y ) = Σ ( x 0 , y 0 ) ∈ Ω 3 [ PC V I l , p ( x 0 , y 0 ) ] α 1 × [ NSM V I l , p ( x 0 , y 0 ) ] β 1 × | I H , V I l , p ( x , y ) | γ 1 ]]>
HAM I R l , p ( x , y ) = Σ ( x 0 , y 0 ) ∈ Ω 3 [ PC I R l , p ( x 0 , y 0 ) ] α 1 × [ NSM I R l , p ( x 0 , y 0 ) ] β 1 × | I H , I R l , p ( x , y ) | γ 1 ]]>
分别表示可见光和红外图像在像素点(x,y)的第l层、第p方向的高频子带系数的活跃水平,分别表示可见光和红外图像在像素点(x,y)的第l层、第p方向的高频子带系数的亮度,α1、β1、γ1分别表示相位一致性、清晰度和图像亮度的指数权重,Ω3表示预设的邻域,(x0,y0)为滑动窗口预设邻域Ω3内任意一点;
将可见光和红外图像中高频子带系数的活跃水平构成矩阵,设置一个滑动窗口Ω4,计算可见光和红外图像高频子带系数的融合权重:
X1×Y1表示滑动窗口Ω4的大小,和分别表示可见光和红外图像在像素(x,y)第l尺度,第p方向的高频子带系数在滑动窗口Ω4内占有活跃水平较大的像素的数量:
(x0,y0)为滑动窗口Ω4内任意一点;
计算融合图像第l尺度,第p方向的高频子带系数
I H , F l , p ( x , y ) = I H , V I l , p ( x , y ) × Hmap V I ( x , y ) + I H , I R l , p ( x , y ) × Hmap I R ( x , y ) ]]>
分别表示可见光和红外图像在像素点(x,y)的第l尺度,第p方向的高频子带系数,HmapVI(x,y)、HmapIR(x,y)分别表示的融合系数;
步骤4,根据步骤2、3得到的融合图像的低频子带系数和高频子带系数,进行NSCT反变换,得到融合图像。