[发明专利]基于SCDPT变换及其幅相结合的多模态图像融合方法

摘要

本发明公开了一种基于幅度和相位联合的多模态图像融合方法，主要解决现有融合技术不能充分利用源图像相位信息的问题。其实现过程为：采用SCDPT变换对源图像进行多尺度多方向分解，得到不同子带系数；针对复带通方向子带系数，构建能量匹配和周期相关系数相结合的相似度因子进行相似测量，并用基于局部区域能量和相对相位周期方差的融合规则进行组合，得到融合图像带通方向子带系数；针对低通子带系数，利用结构相似度因子进行相似测量，并采用基于尺度间子带系数联合统计的融合规则进行组合，得到融合图像低通子带系数；对融合图像子带系数进作SCDPT逆变换，得到融合图像。本发明能够很好地保留源图像中的相位信息，具有很高的空间一致性。

主权项

一种基于SCPDT复变换及其系数幅相结合的多模态图像融合方法，包括如下步骤：(1)对已配准的第一幅图像A和第二幅图像B分别进行SCDPT分解，得到各自的变换系数和其中，和分别表示第一幅图像A和第二幅图像B在最粗糙尺度J下的低通子带系数，和分别表示第一幅图像A和第二幅图像B在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数，L_j为第j尺度下带通方向子带的方向数，其中j＝1,2,...,J，l＝1,2,...,L_j；(2)构建基于区域能量匹配和相对相位周期相关系数的相似性准则(2.1)分别计算第一幅图像A在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数的相对相位：${\mathrm{\θ}}_A^{j,l}(m,n)=\∠C_A^{j,l}(m,n)-\∠C_A^{j,l}(m,n+1),$以及第二幅图像B在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数：${\mathrm{\θ}}_B^{j,l}(m,n)=\∠C_B^{j,l}(m,n)-\∠C_B^{j,l}(m,n+1),$其中和分别为图像A，B在尺度j、方向l、空间位置(m,n)处复带通方向子带系数的相位角；(2.2)计算所述复带通方向子带系数和在以空间位置(m,n)为中心、大小为M₁×N₁的局部区域R内的周期相关系数${\mathrm{\ρ}}_{\mathrm{AB}}^{j,l}(m,n)=\frac{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\sin ({\mathrm{\θ}}_A^{j,l}(m+u,n+v)-{\stackrel{\‾}{\mathrm{\θ}}}_A^{j,l}(m,n))\·\sin ({\mathrm{\θ}}_B^{j,l}(m+u,n+v)-{\stackrel{\‾}{\mathrm{\θ}}}_B^{j,l}(m,n))}{\sqrt{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}{\sin }^2({\mathrm{\θ}}_A^{j,l}(m+u,n+v)-{\stackrel{\‾}{\mathrm{\θ}}}_A^{j,l}(m,n))\·{\sin }^2({\mathrm{\θ}}_B^{j,l}(m+u,n+v)-{\stackrel{\‾}{\mathrm{\θ}}}_B^{j,l}(m,n))}}$其中，M₁＝N₁＝3，u,v分别为在局部区域R内水平和垂直方向的自变量，为图像A的复带通方向子带系数在相应局部区域R内的相对相位周期均值，为B的复带通方向子带系数在相应局部区域R内的相对相位周期均值，为第一幅图像A在空间位置(m+u,n+v)的相对相位，为第二幅图像B在空间位置(m+u,n+v)的相对相位，其中，${\stackrel{\‾}{\mathrm{\θ}}}_A^{j,l}(m,n)=\arctan \frac{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\sin \left({\mathrm{\θ}}_A^{j,l}(m+u,n+v)\right)}{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\cos \left({\mathrm{\θ}}_A^{j,l}(m+u,n+v)\right)};$(2.3)计算上述两个图像A和B的复带通方向子带系数在相应局部区域R内的能量匹配因子${\mathrm{EM}}_{\mathrm{AB}}^{j,l}(m,n)=\frac{2\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\left|C_A^{j,l}(m+u,n+v)\right|\left|C_B^{j,l}(m+u,n+v)\right|}{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}{\left|C_A^{j,l}(m+u,n+v)\right|}^2+\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}{\left|C_B^{j,l}(m+u,n+v)\right|}^2},$其中，为第一幅图像A在空间位置(m+u,n+v)的复带通子带系数，为第一幅图像B在空间位置(m+u,n+v)的复带通子带系数；(2.4)构建基于区域能量匹配和相对相位周期方差的相似性准则${\mathrm{CE}}_{\mathrm{AB}}^{j,l}(m,n)={\mathrm{EM}}_{\mathrm{AB}}^{j,l}(m,n)\·{\mathrm{\ρ}}_{\mathrm{AB}}^{j,l}(m,n);$(3)针对第一幅图像A和第二幅图像B的复带通方向子带系数，定义用于系数区域类型划分的上阈值T_h(j,l)和下阈值T_l(j,l)，T_h(j,l)＝μ(j,l)+k·σ(j,l)，T_l(j,l)＝μ(j,l)‑k·σ(j,l)，其中，k＝2控制相似度的变化范围，μ(j,l)和σ(j,l)分别为值的均值和标准方差；(4)根据相似度测量准则以及下阈值T_l(j,l)和上阈值T_h(j,l)，将第一幅图像A和第二幅图像B的复带通方向子带系数划分为3类不同区域：(4.1)将满足${\mathrm{CE}}_{\mathrm{AB}}^{j,l}(m,n)\<T_h(j,l),$且${\mathrm{CE}}_{\mathrm{AB}}^{j,l}(m,n)>T_l(j,l)$条件的区域内系数，划分为带通第一类区域，该带通第一类区域表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域不相关；(4.2)将满足条件的区域内系数，划分为带通第二类区域，表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域幅值强度相似、相位相反；(4.3)将满足条件的区域内系数，划分为带通第三类区域，表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域幅值和相位都相似，其中，j、l和(m,n)分别表示复带通方向子带系数的尺度，方向和空间位置；(5)对不同区域定义不同的融合规则进行融合，得到融合图像F的复带通方向子带系数(6)计算第一幅图像A和第二幅图像B的低通子带系数和之间的局部结构相似度SSIM_AB(m,n)，针对图像A和B的低通子带系数，定义下阈值T_l(J)和上阈值T_h(J)，T_h(J)＝μ(J)+k·σ(J)，T_l(J)＝μ(J)‑k·σ(J)，其中，k＝2控制相似度的变化范围，μ(J)和σ(J)分别表示第一幅图像A和第二幅图像B低通子带系数所有SSIM_AB(m,n)值的均值和标准方差；(7)根据相似度测量准则SSIM_AB(m,n)以及下阈值T_l(J)和上阈值T_h(J)，将第一幅图像A和第二幅图像B的低通子带系数划分为3个不同的区域；(8)对不同类型区域内的第一幅图像A和第二幅图像B的低通子带系数和分别进行融合，得到相应区域内融合图像F的低通子带系数(9)对组合后得到的低通子带系数和复带通方向子带系数进行SCDPT逆变换，得到融合后的图像F。