[发明专利]基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法

摘要

本发明涉及一种基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法，该方法分为模型训练和图像融合两个部分。在模型训练阶段，首先将原始清晰多光谱和全色图像降采样，得到模拟训练图像对；然后提取模拟的多光谱和全色图像的特征，利用密集连接网络融合特征，并利用跳跃连接重建高空间分辨率多光谱图像；最后利用Adam算法调整模型的参数。在图像融合阶段，首先提取多光谱和全色图像的特征，利用密集连接网络融合特征，并结合跳跃连接重建高空间分辨率多光谱图像。两个特征提取子网络负责提取输入图像对的特征，三个密集连接网络负责融合特征，跳跃连接和两个转置卷积负责重建高空间分辨率多光谱图像。

主权项

1.一种基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法，其特征在于包括模型训练和图像融合两个部分；步骤如下：第一部分：融合模型的训练输入：图像块集合F₀＝{MS,PAN}，其中原始多光谱图像块MS的尺寸为H×W×S，原始全色图像PAN的尺寸为4H×4W×1，H、W和S分别表示多光谱图像的高度、宽度和通道数；(1)构建仿真训练数据集步骤1a：将原始多光谱图像块MS进行下采样，从而得到模拟的多光谱图像块该图像块的尺寸为步骤2b：将下采样的多光谱图像进行双线性插值上采样，从而得到与MS的高度和宽度相同的多光谱图像步骤3c：将原始全色图像PAN进行下采样得到全色图像与模拟的上采样多光谱图像的高度和宽度相同；(2)提取模拟的多光谱图像和全色图像的特征步骤2a：使用子网络Φ_M提取模拟的上采样多光谱图像的特征F_M2，如等式(1)、(2)和(3)所示；所述的子网络Φ_M由两个卷积层P_M1和P_M2构成；F_M2＝P_M2(F_M1)＝PReLU(W_M2*F_M1+b_M2)          (2)PReLU(x)＝max(x,αx)           (3)其中，PReLU()为激活函数，α为该函数的一个参数；W_M1和W_M2分别为卷积层P_M1和P_M2的权重；b_M1和b_M2分别为卷积层P_M1和P_M2的偏置项；W_M1和W_M2尺寸为3×3；“*”表示卷积操作；步骤2b：使用子网络Φ_P提取模拟的上采样多光谱图像的特征F_P2，如等式(4)和(5)所示；所述的子网络Φ_P由两个卷积层P_P1和P_P2构成；F_P2＝P_P2(F_P1)＝PReLU(W_P2*F_P1+b_P2)      (5)其中，W_P1和W_P2分别为卷积层P_P1和P_P2的权重；b_P1和b_P2分别为卷积层P_P1和P_P2的偏置项；W_P1和W_P2尺寸为3×3；步骤2c：提取的模拟的多光谱和全色图像的特征F₂＝F_P2⊕F_M2；“⊕”表示拼接操作；(3)基于密集连接网络的特征融合步骤3a：利用密集连接网络提取特征F₃，如等式(6)所示；F₃＝P₃(F₂)＝D(F₂)              (6)其中，D(x)为密集连接网络；所述的密集连接网络包括6对1×1和3×3的卷积层，其中1×1的卷积核的个数为128，3×3的卷积核的个数为32；步骤3b：提取第二层密集连接网络特征F₄，如等式(7)所示；F₄＝P₄(F₃)＝D(F₃)                  (7)步骤3c：提取第三层密集连接网络特征F₅，如等式(8)所示；F₅＝P₅(F₄)＝D(F₄)               (8)(4)基于跳跃连接的高空间分辨率多光谱图像重建步骤4a：构建跳跃连接，得到特征F₆，F₆＝F₂⊕F₅；步骤4b：从融合的特征图F₆中重建空间高分辨率多光谱图像F₇，如等式(9)所示。F₇＝P₇(F₆)＝W₇*PReLU(W₆*F₆+b₆)+b₇     (9)其中，W₆和W₇表示两个转置卷积层中的权重，b₆和b₇表示转置卷积层中的偏置项；(5)反向传播调整参数步骤5a：构建损失函数Loss，如等式(10)所示；其中，S表示模拟训练图像对的数量；||·||₁表示L1范式；i表示图像对的下标；步骤5b：利用Adam优化算法计算最优的网络参数{W,b}；输出：良好学习的网络；第二部分：多光谱图像的融合输入：图像块集合F₀＝{MS,PAN}，其中MS的尺寸为H×W×S，PAN的尺寸为4H×4W×1，H、W和S分别表示多光谱图像的高度、宽度和通道数；(1)构建数据集将多光谱图像MS进行双线性插值上采样，从而得到与PAN的高度和宽度相同的多光谱图像(2)提取多光谱和全色图像的特征步骤6a：使用子网络Φ_M提取上采样多光谱图像的特征F_M2，如等式(24)和(25)所示：F_M2＝P_M2(F_M1)＝PReLU(W_M2*F_M1+b_M2)    (25)步骤6b：使用子网络Φ_P提取全色图像PAN的特征F_P2，如等式(26)和(27)所示：F_P1＝P_P1(PAN)＝PReLU(W_P1*PAN+b_P1)       (26)F_P2＝P_P2(F_P1)＝PReLU(W_P2*F_P1+b_P2)      (27)步骤6c：提取的多光谱和全色图像的特征F₂＝F_P2⊕F_M2；(3)基于密集连接网络的特征融合步骤7a：利用训练好的密集连接网络提取特征F₃，如等式(28)所示：F₃＝P₃(F₂)＝D(F₂)                   (28)步骤7b：提取第二层密集连接网络特征F₄，如等式(29)所示：F₄＝P₄(F₃)＝D(F₃)              (29)步骤7c：提取第三层密集连接网络特征F₅，如等式(30)所示：F₅＝P₅(F₄)＝D(F₄)           (30)(4)基于跳跃连接的多光谱图像重建步骤8a：构建跳跃连接，得到特征F₆，F₆＝F₂⊕F₅；步骤8b：从融合的特征图F₆中重建出高空间分辨率多光谱图像F₇，如等式(31)所示：F₇＝P₇(F₆)＝W₇*PReLU(W₆*F₆+b₆)+b₇         (31)输出：多光谱和全色图像融合的高空间分辨率多光谱图像F₇。