[发明专利]基于半监督学习的遥感图像融合方法、装置、介质及设备

权利要求书

1.一种基于半监督学习的遥感图像融合方法，其特征在于，包括：

步骤1：构建并训练空间退化网络和光谱退化网络；

在训练空间退化网络或光谱退化网络过程中，计算光谱退化网络或空间退化网络输出的预测图像与实际的目标图像之间的损失，再通过反向传播算法反复的优化损失，迭代至损失收敛，获取最终的光谱退化网络模型或空间退化网络；

步骤2：构建融合网络；

所述融合网络包括依次连接的特征提取单元，特征非线性映射单元以及特征重构单元；

其中，所述特征提取单元包括两个串联的卷积层，所述卷积层的卷积核大小为3×3，特征图个数为64；所述特征非线性映射单元包括四个依次连接的自适应多尺度模块，所述自适应多尺度模块包括并联叠加的多尺度模块和自适应模块；所述特征重构单元包括两个串联的卷积层，所述卷积层的卷积核大小为3×3，特征图个数分别为32，4；

步骤3：以利用构建的融合网络获取的低分融合图像、高分融合图像的损失和最小作为训练目标，对融合网络进行反向传播训练；

步骤4：将上采样多光谱图像以及全色图像输入到训练好的融合网络中，完成遥感图像融合；

所述空间退化网络包括两条支路，两条支路的输入端相连，两条支路的输出端相减得到所述空间退化网络的输出图像；空间退化网络的两条支路为第一支路和第二支路，其中，第一支路为三个依次连接的卷积层，第二支路的输入端与第一支路的输入端相连；所述第一支路中三个卷积层中的卷积核大小分别为9×9，5×5，5×5；所述第一支路中三个卷积层神经网络中的特征图个数分别为48，32和待融合的多光谱图像波段数；

所述光谱退化网络包括两条支路，两条支路的输入端相连，两条支路的输出端相加得到所述光谱退化网络的输出图像，光谱退化网络的两条支路为第三支路和第四支路，其中第三支路包括三个依次连接的卷积层，第四支路包括一个卷积核为1×1的卷积层，所述第三支路中三个卷积层中的卷积核大小均为3×3，所述第三支路中三个卷积层神经网络中的特征图个数依次为32，8，1；

训练光谱退化网络时，光谱退化网络的输入图像和输出图像分别为原始多光谱图像和同分辨率全色图像；

训练空间退化网络时，空间退化网络的输入图像和输出图像分别为原始多光谱图像和低分辨率多光谱图像；

所述融合网络获取低分融合图像、高分融合图像的损失和包括三个部分，第一部分为将低分辨率多光谱图像和全色图像输入融合网络中得到低分融合图像和低分融合参考图像之间的损失，第二部分和第三部分分别为将上采样多光谱图像和全色图像输入到融合网络中得到高分融合图像，再将高分融合图像分别输入训练好的空间退化和光谱退化网络中，得到空间退化图像和光谱退化图像，以得到的空间退化图像与上采样多光谱图像之间的损失和光谱退化图像与全色图像之间的损失。

2.根据权利要求1所述的方法，其特征在于，所述多尺度模块包括依次串联的卷积单元，所述卷积单元包括三个依次连接的卷积层，第一个卷积层为三个并联叠加的空洞卷积，且三个空洞卷积的卷积核大小均为3×3，尺度因子分别为1、2、3，第二层卷积层和第三层卷积层的卷积核大小分别为1×1，3×3；

所述自适应模块包括顺序连接的全局平均池化层、两个全连接层以及sigmoid激活函数，两个全连接层的神经元个数分别为8和64，且以全局平均池化层的输入与sigmoid激活函数的输出进行相乘运算得到的结果作为自适应模块的输出。

3.根 据权利要求1所 述的方法，其特征在于，采用平方根误差计算光谱退化网络或空间退化网络输出的预测图像与实际的目标图像之间的损失。

4.根据权利要求1所 述的方法，其特征在于，采用均方根误差计算所述低分融合图像、高分融合图像的损失。

5.根据权利要求1所 述的方法，其特征在于，采用光谱损失函数计算所述空间退化图像与上采样多光谱图像之间的损失。