[发明专利]多尺度梯度域图像融合算法

摘要

本发明提供一种多尺度梯度域图像融合算法，将红外热像图和可见光图像相融合，其特征在于，包括以下步骤：构造梯度场步骤；修正梯度融合权重步骤；重建梯度场步骤；以及透明度法图像融合步骤。本发明所提供的多尺度梯度域图像融合算法能够同时保留红外热像图和可见光图像的温升区域和细节信息，去除图像之间相互作用产生的光晕伪影现象和冗余信息，并避免了红外热像图温升区域的颜色失真。

主权项

一种多尺度梯度域图像融合算法，将红外热像图和可见光图像相融合，其特征在于，包括以下步骤：构造梯度场步骤，设灰度图像为I(x,y)，该灰度图像的特征信息由梯度表示为：▿I=[∂I∂x,∂I∂y]T---(1),]]>(x,y)是所述灰度图像的像素坐标，|▽I|是所述灰度图像的灰度的变化大小，▽I/|▽I|是所述梯度的方向，▽I⊥/|▽I|表示垂直于所述梯度的方向，将所述红外热像图和所述可见光图像都作为源图像，设多通道图像Im(x1,x2):Ω→[1,M]N的各个标量通道来自于多个所述源图像In(x1,x2),n＝1,...,N，式中(x1,x2)表示所述多通道图像某一像素点的灰度值，设所述多通道图像中存在点a＝(x1,x2)和点b＝(y1,y2)，所述点a和所述点b的差分为Im(x1,x2)‑Im(y1,y2)，当所述点a和所述点b的距离趋近于无穷小，所述差分可以用微分代替，表示为：dIm=∂Im∂x1dx1-∂Im∂x2dx2---(2),]]>所述微分dIm的平方范数为：|dIm|2=(∂Im∂x1)2dx1dx1+2(∂Im∂x1·∂Im∂x2)dx1dx2+(∂Im∂x1)2dx2dx2---(3),]]>定义矩阵G，该矩阵G的各个元素的结构形式为：Gij=∂Im∂xi·∂Im∂xj,(i,j=1,2)---(4),]]>则所述平方范数等价于：|dIm|2=dx1dx2Gijdx1dx2---(5),]]>所述公式(5)在微分几何曲面中为第一基本形式，所述矩阵G为结构张量，将该结构张量G转换到梯度场表示为：G=Σn=1N▿In·▿InT=Σn=1NInx2Σn=1NInx·InyΣn=1NInx·InyΣn=1NIny2=Σn=1N(∂In∂x)2Σn=1N∂In∂x·∂In∂yΣn=1N∂In∂x·∂In∂yΣn=1N(∂In∂y)2---(6),]]>修正梯度融合权重步骤，采用均值法提取所述红外热像图中的温升区域，设所述源图像的特征图为Sn，梯度融合权重为：wn=snΣk=1Nsk---(7),]]>将高斯滤波Gσ(x1,x2,σ)的多尺度变换与所述红外热像图的图像梯度协方差C相结合，对所述图像梯度协方差C进行多尺度变换，有：Cσ=Inx12*Gσ(x1,x2,σ)(Inx1Inx2)*Gσ(x1,x2,σ)(Inx1Inx2)*Gσ(x1,x2,σ)Inx22*Gσ(x1,x2,σ)---(8),]]>式中，*代表卷积运算，σ是尺度因子，将图像衔接处的结构特征设计为：S2=(λ1+λ2)2+0.5(λ1-λ2)2---(9),]]>式中，λ1和λ2是经过所述多尺度变换后的所述红外热像图的图像梯度协方差的特征值，采用soft‑max函数修正所述特征图边缘区域的梯度权重：wn=11+exp(Sn′-Sn)/(Sn′+Sn)---(10),]]>式中，Sn是所述特征图边缘区域的多尺度结构特征，且最终的带有梯度权重的结构张量G为：G=Σn=1N(wn∂In∂x1)2Σn=1Nwn2∂In∂x1·∂In∂x2Σn=1Nwn2∂In∂x1·∂In∂x2Σn=1N(wn∂In∂x2)2---(11);]]>重建梯度场步骤，所述结构张量G是半正定矩阵，特征值为λ1和λ2，其中最大特征值λ1表示所述源图像在某一点的最大变化率，最小特征值λ2代表该点的最小变化率，对应所述最大变化率和所述最小变化率的方向分别用特征向量e1和e2表示，将所述结构张量G对角化为：G=QΛQT=Qλ100λ2QT---(12),]]>式中，Q为正交矩阵，结合所述公式(11)和所述公式(12)得到：Det(G)＝λ1·λ2   (13)，Trace(G)=λ1+λ2=Σn=1N|▿In|2---(14),]]>为保持所述源图像的基本几何性质，所述重建图像Ire的二阶矩阵应尽可能接近所述源图像的结构张量G＝QΛQT，于是有Λ~=λ1000,]]>则所述重建图像的结构张量为重建梯度场为所述特征向量e1由决定，所述重建图像Ire的梯度场▽Ire要尽可能地接近所述重建梯度场使目标函数h(Ire)最小：h(Ire)=∫∫ΩH(▿Ire,▿I~)dxdy---(15),]]>式中H(▿Ire,▿I~)=|▿Ire-▿I~|2=(Irex-▿I~)2+(Irey-▿I~)2---(16),]]>所述目标函数h(Ire)取极值时有HIre-∂∂x(∂H∂Irex)-∂∂y(∂H∂Irey)=0---(17),]]>所述公式(12)的拉格朗日方程为2(∂2Ire∂x2-∂▿I~∂x)+2(∂2Ire∂y2∂▿I~∂y)---(18),]]>简化为ΔIre=div(▿I~)---(19),]]>式中Δ是拉普拉斯算子，求该解泊松方程即可得到所述重建图像Ire；透明度法图像融合步骤，采用R、G、B三通道方式处理所述重建图像和所述可见光图像，然后采用透明度法将所述重建图像和所述可见光图像融合，用公示表示为：IF＝f(Ire,Iv,τ)＝(1‑τ)Ire+τIv   (20)，式中，Iv是所述可见光图像，IF是融合图像，τ是浑浊因子，且τ∈(0,1)，计算所述公式(20)得到所述融合图像IF。