[发明专利]基于残差网络与空间注意力机制的遥感图像融合方法

说明书

本发明公开了基于残差网络与空间注意力机制的遥感图像融合方法，包括以下步骤：S1：对采集到的全色图像与多光谱图像进行大气校正、辐射校正、配准，将配准后的图像进行裁剪，并分为训练集与测试集；S2：构建无监督融合网络框架；S3：设计同时能约束融合图像光谱损失与空间损失的损失函数；S4：对损失函数进行训练与测试，将原始多光谱与全色图像输入进无监督融合网络进行训练，循环迭代，并根据目标图像需求分配不同损失函数权重，对网络进行优化，保存训练模型；S5：调用训练模型，对测试图像进行测试，得到融合的高空间分辨率多光谱图像；能够直接在原始待融合图像上进行训练，避免制造模拟退化数据集问题。

技术领域

本发明属于图像处理技术领域，具体涉及基于残差网络与空间注意力机制的遥感图像融合方法。

背景技术

遥感图像在工农业生产、军事侦察打击、城市规划与资源勘探等方向应用越来越多。同时，随着信息与通讯技术的不断发展，越来越多的卫星被发射升空，可供获取的遥感图像也海量增长。但是受限于传感器的限制，获取具有高空间分辨率、高光谱光谱分辨率的遥感图像十分困难。目前常用的卫星会搭载不同的传感器来采集多模态数据，然后将多模态数据融合来获取所需的高空间分辨率、多光谱影像。

传统的融合方法一般分为成分替换法、多分辨率分析法。成分替换法具有方法步骤简单且易实现，计算效率高等优点，但其易于出现光谱失真。多分辨率分析法光谱扭曲少，抗混叠，但算法较复杂，融合策略设计较复杂且易影响融合图像的空间细节信息。近年来，随着计算机运算能力的飞速发展以及大数据时代的到来，使得深度学习类方法能够通过深层次的网络结构来描述输入数据和标签之间复杂的映射关系。深度学习类方法以其高效、先进的性能在许多图像处理应用中受到越来越多的关注。大多数基于深度学习的融合方法思想来源于图像超分重建(Super Resolution，SR)，SR指从观测到的低分辨率图像与高分辨率图像对中学习低分到高分的映射，并对低分辨率图像重建得到相应的高分辨率图像。由于在遥感领域，缺少真实的高空间分辨率图像作为参考图像，通常通过制造模拟退化数据集进行训练，并学习低分到高分的映射。该方案并不是真实图像间的学习，也忽视了模拟数据与真实LR图像光谱与空间细节的差异。

此外，为了使融合图像的空间细节纹理部分更丰富，大量空间注意力模块被提出。注意力机制的本质就是定位到感兴趣的信息，抑制无用信息，结果通常都是以概率图或者概率特征向量的形式展示，大多数现有的注意力机制都是通过神经网络的操作产生一个掩膜，并将掩膜上的值视为权重，给感兴趣更重的权重。然而，掩膜的生成缺乏监督，很难解释注意力模块中到底什么区域被重点关注。

使用深度学习算法对遥感数据做超分时，损失函数多使用均方差来衡量目标值与真实值间差异并尽力减少此差异，均方差具有计算简单，拟合数据良好等优点，但是其对大误差惩罚强，对小误差惩罚较弱，有时会忽略图像本身内容的影响。此外，使用均方差作为损失函数拟合的是模拟数据间的映射，没有考虑原始待融合图像高空间分辨率、高光谱分辨率的特点。

发明内容

本发明提供了基于残差网络与空间注意力机制的遥感图像融合方法，能够直接在原始待融合图像上进行训练，避免制造模拟退化数据集问题。

本发明的具体方案如下：

基于残差网络与空间注意力机制的遥感图像融合方法，包括以下步骤：

步骤S1：对采集到的全色图像与多光谱图像进行大气校正、辐射校正、配准，将配准后的图像进行裁剪，并分为训练集与测试集；

步骤S2：构建无监督融合网络框架；

步骤S3：根据多光谱图像具有丰富光谱信息，全色图像具有丰富空间纹理信息设计同时能约束融合图像光谱损失与空间损失的损失函数；

步骤S4：对损失函数进行训练与测试，将原始多光谱与全色图像输入进无监督融合网络进行训练，循环迭代，并根据目标图像需求分配不同损失函数权重，对网络进行优化，保存训练模型；