[发明专利]一种多监督递归学习的深度网络多源光谱图像融合方法

说明书

本发明公开了一种多监督递归学习的深度网络多源光谱图像融合方法，包括：采取递归学习，构成递归残差子网络，每个递归残差子网络的输出和输入相加作为下一递归残差子网络的输入；网络由预超分辨模块和融合模块构成，预超分辨模块实现上采样插值的自动学习，预超分辨图像与多光谱图像拼接作为融合模块输入；采取多个递归残差子网络堆叠方法建立预超分辨模块和融合模块；采用多监督学习方式，低层、中间层与高层特征经过拼接与卷积层形成各级中间融合图像；以L1范数和光谱角作为损失函数的两个度量，各级中间融合图像与真实图像建立联合损失函数，进行端对端网络训练。仿真实验结果证明了本发明对于多远光谱图像融合的有效性。

技术领域

本发明涉及高光谱图像融合领域，特别是一种多监督递归学习的深度网络多源光谱图像融合方法。

背景技术

近年来，深度学习成了人工智能领域的研究热点，获得理论界和工业界的广泛关注，在模式识别、计算机视觉、自然语言处理等领域获得大量应用。深度学习模型一般为具有多层结构的神经网络，通过多层神经网络的多重非线性变换对数据进行多层次的特征提取，自动学习从低级到高级的层级特征，随着层数增加，特征的抽象程度也随之增强。相比于传统浅层机器学习模型，深度学习模型的特征更为全面，也克服了人工设计特征对个人经验的依赖。

深度学习也在高光谱图像融合领域得到了广泛的应用，大量基于卷积神经网络的高光谱图像融合模型被提出，如[Masi G,Cozzolino D,Verdoliva L,etal.Pansharpening by convolutional neural networks[J].Remote Sensing,2016,8(7):594.]。PNN网络仅为三层结构，简单增加层数并不能提升性能，这是因为网络层数增加时，模型难以得到有效训练。残差连接可以解决网络过深时难以训练的问题，例如梯度爆炸和梯度消失。目前，研究者已经提出许多基于残差连接的网络模型，如[Yuan Q,Wei Y,MengX,et al.A multiscale and multidepth convolutional neural network for remotesensing imagery pan-sharpening[J].IEEE Journal of Selected Topics in AppliedEarth Observations and Remote Sensing,2018,11(3):978-989.]。现今的网络模型大多是将低分辨率高光谱图像和相应的辅助源图像堆叠作为网络输入，在之后的特征提取和映射中实现图像融合。最近，有学者提出了一种双通道神经网络模型[Shao Z,Cai J.Remotesensing image fusion with deep convolutional neural network[J].IEEE journalof selected topics in applied earth observations and remote sensing,2018,11(5):1656-1669.]，该方法分别对低分辨率高光谱图像和辅助源图像提取光谱特征和空间特征，然后将提取到的特征堆叠通过一个卷积层完成特征融合，取得了不错的效果。

然而，上述模型大多深度较浅，无法充分利用深层网络结构强大的特征提取能力和非线性表示能力。

发明内容

本发明的目的在于提供一种多监督递归学习的深度网络多源光谱图像融合方法。

实现本发明目的的技术解决方案为：一种多监督递归学习的深度网络多源光谱图像融合方法，包括以下步骤：

第一步，采取递归学习，构成递归残差子网络，每个递归残差子网络的输出和输入相加作为下一递归残差子网络的输入；

第二步，整体网络模型由预超分辨模块和融合模块构成，预超分辨模块实现上采样插值的自动学习，预超分辨图像与多光谱图像拼接作为融合模块输入；

第三步，采取多个递归残差子网络堆叠方法建立预超分辨模块和融合模块；