[发明专利]一种基于深度神经网络的多源遥感图像融合方法

说明书

本发明提出了一种基于深度神经网络的高光谱图像(HSI)、多光谱图像(MSI)与全色图像(PAN)融合方法，网络架构设计了三个网络模块完成融合过程三个阶段。使用包含光谱、空间注意力机制和多尺度卷积的网络块提取MSI和PAN空间结果特征；设计了并行密集连接型网络架构保存空间结构特征和HSI光谱特征，并通过特征单向传递实现特征自动融合；最后采用多个卷积与ReLU激活层构成的图像重构模块完成最终的高空间分辨率的高光谱图像的生成。实验表明：本发明提出的方法考虑到HSI的光谱分布特性和MSI与PAN的空间结构信息，与其他先进的融合方法相比，本发明的融合结果在量化指标上表现最优，主观视觉效果也最接近于参考图像。

技术领域

本发明属于遥感图像融合领域，涉及一种基于深度神经网络的高光谱、多光谱与全色图像融合方法，适用于由空间分辨率递增的高光谱图像、多光谱图像与全色图像融合得到高分辨率高光谱图像的应用场景。

背景技术

利用遥感卫星成像平台，可以同时获得针对同一地区的高光谱图像，多光谱图像和全色图像。其中，由于光学传感器的技术和物理限制，高光谱图像具有低空间分辨率而光谱波段最多的特性；多光谱图像具有空间分辨率相对较高而光谱波段较少的特性；全色图像则具有最高空间分辨率而光谱波段单一的特性。在农业分析、灾害监测和土地覆盖分类等诸多应用中，为了获得同时具有空间分辨率高和光谱特性丰富的高光谱图像(HR-HSI)，增强对信息的分析和理解，通常需要通过图像融合技术对低空间分辨率高光谱图像(HSI)和高空间分辨率的全色图像(PAN)(或较高空间分辨率多光谱图像(MSI))进行融合，该图像融合技术也被称为高光谱图像融合技术。

典型的高光谱图像融合方式可分为3类：高光谱与多光谱图像融合方式 (fusionof hyperspectral and multispectral images,FHM)，高光谱与全色图像融合方式(fusion of hyperspectral and panchromatic images,FHP)，以及高光谱，多光谱与全色图像融合方式(fusion of hyperspectral,multispectral and panchromatic images,FHMP)。

FHM融合方式的主要思路分为三种：基于矩阵分解的融合思路[R1-R3]、基于张量表示的融合思路[R4-R5]、基于卷积神经网络的融合思路[R6]。该融合方式在光谱保真方面能够取得很好的效果，但受限于MSI的空间分辨率，FHM的融合图像空间分辨率仍比较低，限制了细节纹理等结构信息的获取；对于FHP 融合方式，研究者通常会考虑将PAN的边缘纹理提取后，注射到上采样的模糊 HSI图像中[R7]。然而，由于PAN与HSI间的分辨率上的差异过大，融合结果往往存在严重的光谱失真现象。

与FHM和FHP融合方式相比，FHMP融合方式在实际应用中更具潜在价值。该类方法获取同一时区配准后的HSI,MSI和PAN数据进行融合，能够在光谱保真和空间细节增强方面均取得好的结果。已有的FHMP融合研究较少，典型的解决思路包括基于融合任务的先验条件构建最小二乘分解优化模型；基于外设约束将融合过程转换为最大似然估计问题等[R8]，这类思路虽然能较好重构高分辨率的高光谱图像，但他们过于依赖建模时的先验假设，同时存在参数难以选取及优化的问题，融合质量仍有提升空间。

发明内容

本发明针对现有高光谱图像融合方法中存在的融合图像空间分辨率低、光谱失真等问题，提供一种新的基于深度神经网络的高光谱、多光谱和全色图像融合方法，利用神经网络的强特征提取能力与表征能力，提取全色图像与多光谱图像中的高频空间细节信息，并注入光谱内容丰富的高光谱图像，从而获得具有高空间分辨率的高光谱图像。