[发明专利]基于半监督学习的遥感图像融合方法、装置、介质及设备

说明书

本发明公开了一种基于半监督学习的遥感图像融合方法、装置、介质及设备，本发明由低尺度的监督学习和原始尺度的无监督学习构成，在进行监督学习时，将低分辨率多光谱和全色图像输入融合网络得到低分融合图像，计算参考图像与融合结果之间的低尺度损失。由于在高分部分不存在高分参考图像，本发明建立了光谱和空间退化网络实现对多光谱图像空间和光谱的约束，使用建立的光谱和空间退化网络得到原始尺度损失。本发明方法在低分部分监督学习，在高分部分无监督学习，通过半监督学习的方式来训练网络，使低分图像和高分图像的表现保持一致。实验结果表明，本发明提出的基于半监督学习的遥感图像融合方法可以达到好的融合效果。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于半监督学习的遥感图像融合方法、装置、介质及设备。

背景技术

随着科学技术的进步和传感器的发展，系统获得的信息变得复杂多样，为了更好的处理并获得更丰富的有用信息，需要研究和发展新的信息处理方法。信息融合作为可以有效的获得精确可靠信息的一种技术而兴起。图像融合技术是信息融合技术的一个分支，近些年引起了人们的广泛关注。

图像融合将多个传感器获得的图像信息进行综合，利用各传感器之间的信息互补得到一个信息全面丰富的融合图像，提高了图像的可靠性和清晰度。目前，图像融合技术应用广泛，如遥感卫星的图像融合，一般遥感卫星上的全色传感器获得的全色图像只有一个光谱带，虽然分辨率高，但缺乏光谱信息，因此需要多光谱图像与其进行融合来进行信息互补，合成分辨率高且光谱信息好的融合图像。遥感成像在农业生产、自然环境勘查、地形分析等方面有着广泛应用，为了获得更有价值的图像，遥感图像融合的研究有着重大意义。

现有的遥感图像融合方法包括基于非学习和学习两大类。基于非学习的方法是直接利用先验进行建模分析来预测高分融合图像，基于非学习的图像融合方法有很多，如IHS、GLP和NMRA，但是现有的基于非学习方法的性能大部分都比基于学习的方法差。基于学习的方法是在利用数据建模分析来预测融合图像，近年来，基于学习的图像融合方法，尤其是基于深度学习的方法，得到广泛的研究，如PanNet、PNN和RSIFNN，通过构建模型学习全色图像和多光谱图像这两者与参考图像之间的关系来模拟产生低分融合图像，用低分图像训练的模型去预测高分图像，但此过程有一定误差，会导致低分部分与高分部分的表现不一致。

发明内容

针对现有技术的不足，本发明提供一种基于半监督学习的遥感图像融合方法、装置、介质及设备，在低分和高分上同时训练模型，克服高分和低分部分表现不一致的问题。

为了解决上述问题，一方面，本方案提供一种基于半监督学习的遥感图像融合方法，步骤如下：

步骤1：构建并训练空间退化网络和光谱退化网络；

在训练空间退化网络或光谱退化网络过程中，计算光谱退化网络或空间退化网络输出的预测图像与实际的目标图像之间的损失，再通过反向传播算法反复的优化损失，迭代至损失收敛，获取最终的光谱退化网络模型或空间退化网络；

步骤2：构建融合网络；

所述融合网络包括依次连接的特征提取单元，特征非线性映射单元以及特征重构单元；

其中，所述特征提取单元包括两个串联的卷积层，所述卷积层的卷积核大小为3×3，特征图个数为64；所述特征非线性映射单元包括四个依次连接的自适应多尺度模块，所述自适应多尺度模块包括并联叠加的多尺度模块和自适应模块；所述特征重构单元包括两个串联的卷积层，所述卷积层的卷积核大小为3×3，特征图个数分别为32，4；

步骤3：以利用构建的融合网络获取的低分融合图像、高分融合图像的损失和最小作为训练目标，对融合网络进行反向传播训练；

步骤4：将上采样多光谱图像以及全色图像输入到训练好的融合网络中，完成遥感图像融合。