[发明专利]基于图注意力机制的多光谱与全色图像融合方法及系统

说明书

本发明属于图像处理技术中遥感图像融合领域，提供了一种基于图注意力机制的多光谱与全色图像融合方法及系统，该方法包括：获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；将多光谱图像特征图和全色图像特征图输入深度神经网络模型；采用训练样本集和Adam随机梯度下降算法对深度神经网络模型进行训练，基于损失函数优化深度神经网络模型，得到训练好的深度神经网络模型；将待融合的低分辨率的多光谱图像和高空间分辨率的全色图像输入训练好的深度神经网络模型，输出融合后的高空间分辨率的多光谱图像。

技术领域

本发明属于图像处理技术中遥感图像融合领域，尤其涉及一种基于图注意力机制的多光谱与全色图像融合方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

由于卫星传感器技术的限制，同一传感器不能同时获取具有高空间分辨率和高光谱分辨率的卫星图像。现在卫星通过两种传感器采集具有较高的空间分辨率全色图像和具有较高的光谱分辨率多光谱图像，通过提取全色图像的空间细节信息并将其注入到多光谱图像中来提高多光谱图像的空间分辨率，来获取同时具有高空间分辨率和高光谱分辨率的图像。

目前，多光谱图像与全色图像融合技术主要可以分为四类：1)成分替换(component substitution methods，CS)方法；该类方法通过IHS变换或主成分分析技术，将多光谱图像转换到不同的色彩空间或不同主成分，然后用全色图像替换I通道或第一主成分，最后通过相应的逆变换来获取具有高空间分辨率的多光谱图像。该类方法能较好的提高多光谱图像的空间分辨率，但同时也会造成一定的光谱失真。2)多分辨率分析(multiresolution analysis methods，MRA)方法；该类方法利用小波变换、拉普拉斯金字塔、非下采样的contourlets变换等手段提取全色图像的空间细节，并将其注入到多光谱图像中。该类方法能较好的保存多光谱图像的光谱特性，但对其空间分辨率的提升效果有限，且时间开销较大。3)基于退化模型(degradation model based methods，DM)的方法；该类方法将多光谱图像视为理想的高分辨率多光谱图像的退化图像。利用全色图像的空间细节信息，依靠马尔科夫随机场、自回归模型等技术重建出高分辨率的多光谱图像。但该类方法存在构建重建模型难度大，改进空间有限等问题。4)基于深度神经网络(deep neuralnetwork based methods，DNN)的方法；使用深度神经网络学习图像的光谱和空间细节，获得了更好的融合性能，但仍有一个问题需要考虑：现有技术中没有考虑到多光谱图像和全色图像特征图之间的相关性的问题，忽略了多光谱图像与全色图像之间可能会具有的互补性特征。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于图注意力机制的多光谱与全色图像融合方法及系统，其通过深度神经网络计算低空间分辨率的多光谱图像和高空间分辨率的全色图像之间的相关性，并重新分配每个特征图中样本的权重，经过一个重建网络来获得高空间分辨率的融合图像。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于图注意力机制的多光谱与全色图像融合方法。

基于图注意力机制的多光谱与全色图像融合方法，包括：

获取低空间分辨率的多光谱图像和高空间分辨率的全色图像；

将多光谱图像特征图和全色图像特征图输入深度神经网络模型；

采用训练样本集和Adam随机梯度下降算法对深度神经网络模型进行训练，基于损失函数优化深度神经网络模型，得到训练好的深度神经网络模型；

将待融合的低分辨率的多光谱图像和高空间分辨率的全色图像输入训练好的深度神经网络模型，输出融合后的高空间分辨率的多光谱图像。

本发明的第二个方面提供一种基于图注意力机制的多光谱与全色图像融合系统。