[发明专利]一种多光谱图像全色锐化方法

说明书

本发明公开了一种多光谱图像全色锐化方法，包括步骤：读取原始的多光谱图像和全色图像并进行预处理；从预处理后的图像中截取出图像块作为训练样本和测试样本；设计空间特征传输卷积模块；设计空间特征传输串级卷积神经网络：对模型各卷积层的权重和偏置进行随机初始化；输入训练样本，经过网络前向传播得到预测图像，计算预测图像与参照图像之间的损失函数值；对模型进行迭代优化直至损失函数值达到最小，得到权重和偏置的最优解；将权重和偏置的最优解加载至空间特征传输串级卷积神经网络模型中，输入测试样本进行全色锐化处理。本发明将全色锐化过程分为三个子过程，逐级地提升锐化效果，降低了每一级的锐化难度，有效地增强了全色锐化效果。

技术领域

本发明涉及图像处理及深度学习领域，尤其涉及一种多光谱图像全色锐化方法。

背景技术

近年来，尽管随着遥感技术的不断发展，遥感图像的空间分辨率和光谱分辨率有了很大的提升，但这依然无法满足许多复杂遥感任务的要求。由于成像传感器的结构限制，遥感系统难以通过提升硬件技术来获得具有更高分辨率的遥感图像。为了解决这一难题，遥感领域引进了信号处理技术，这其中，全色锐化技术是最成功的技术之一。对于给定具有高光谱分辨率但空间分辨率较低的多光谱图像，以及具有高空间分辨率但只有单个光谱通道的全色图像，全色锐化技术能够通过融合前者的光谱信息和后者的空间信息，从而得到具有高空间分辨率的多光谱图像。

在过去的许多年里，研究人员提出了大量不同的全色锐化方法。其中较经典的方法主要有成分替代法和多分辨率分析法。成分替代法从光谱的角度来研究全色锐化问题，这种方法首先通过光谱变换将多光谱图像变换到某个空间域以分离其光谱成分和空间成分，然后使用全色图像替换变换结果的空间成分，再反变换回原始的空间域从而得到锐化图像。根据变换方法的不同，这一类方法主要包括光强、色调、饱和度变换法(IHS)、主成分分析变换法(PCA)和施密特正交变换法(GS)等。多分辨率分析法则是从几何或空间的角度来研究全色锐化问题。这种方法首先在多个分辨率下对全色图像进行分解以提取空间细节信息，随后将这些信息注入到多光谱图像中得到锐化结果。根据分解方法的不同，这一类方法主要包括小波变换(DWT)、拉普拉斯金字塔(LP)等。近年来，基于深度学习的方法在信号处理领域和遥感领域获得了很多关注。许多基于深度学习的全色锐化方法相继被提出，并且取得了优于传统的成分替代法以及多分辨率分析法的性能效果。现有的方法一般利用卷积神经网络端到端的学习能力，期望直接从低空间分辨率的多光谱图像中一步式地获得高空间分辨率的多光谱图像。然而，由于两者之间的分辨率差异相对较大，单过程的全色锐化难以实现较好的锐化效果。

发明内容

本发明的目的在于克服现有技术的不足，提供一种多光谱图像全色锐化方法。本发明首先设计一个空间特征传输卷积模块，该模块能够通过三维卷积同时处理空间信息和光谱信息，从而实现较好的空间和光谱保真度，此外，该模块还通过空间特征传输的方式进一步提高了空间细节重建效果。在此基础上，本发明使用所设计的空间特征传输卷积模块构建了一个空间特征传输串级卷积神经网络，该网络通过串联三个模块将全色锐化过程分为三个子过程，逐级地提升锐化效果，有效地降低了每一级的锐化难度，增强了全色锐化效果。

本发明的方案能够通过以下技术方案实现：

一种多光谱图像全色锐化方法，包括步骤：

读取原始的多光谱图像和全色图像，对读取的图像数据进行预处理；

从预处理后的图像中划分出不同的区域并按照特定的原则从所述区域中截取出图像块作为训练样本和测试样本；

设计空间特征传输卷积模块；

设计空间特征传输串级卷积神经网络：

使用零均值的高斯分布对空间特征传输串级卷积神经网络模型各卷积层的权重和偏置进行随机初始化；

输入训练样本，经过网络前向传播得到预测图像，选择均方误差作为损失函数，计算预测图像与参照图像之间的损失函数值；