[发明专利]基于残差通道注意力机制的双流遥感图像融合方法

说明书

本发明提供一种基于残差通道注意力机制的双流遥感图像融合方法，卷积神经网络分别从全色图像和低分辨率的多光谱遥感图像中提取特征，然后将它们融合形成紧凑的特征图，然后构建残差注意力网络，残差注意力网络使用注意力机制通过对特征通道之间的相互依赖关系进行建模，自适应地调整每个通道的特征，从而能够专注于更有用的通道，提高识别学习能力残差注意力网络采用多残差连接，其中长残差连接允许浅层的残差学习，长残差连接和短残差连接允许大量浅层信息通过这些基于身份的跳连接，简化了信息的流动，最终经过反卷积层以及卷积层重构后，能够生成高质量遥感图像，对遥感图像融合领域具有重要意义。

技术领域

本发明涉及遥感图像融合技术领域，特别涉及基于残差通道注意力机制的双流遥感图像融合方法。

背景技术

遥感图像融合是一种将高分辨率全色遥感图像(PAN图像)和低分辨率多光谱遥感图像(LMS图像)融合成高分辨率多光谱遥感图像的算法，高分辨率多光谱遥感图像可以计算出地球表面每个像素的反射光谱以获得多种信息，为后续的遥感场景分割，分类和特征提取提供帮助，如森林资源调查、地物分类、精准农业以及气象预报等，然而由于当前硬件的局限性，很难通过单个传感器获得具有高分辨率的遥感图像，只能分别获取地表单波段的全色图像和多波段的多光谱遥感图像，这两种图像携带的信息不同但是却在信息上可以互补，为了得到高分辨率的多光谱遥感图像，全色锐化被开发为遥感图像融合中的一个关键技术。随着遥感图像越来越重要，遥感图像融合算法也在不断地改进，如何将全色图像和多光谱遥感图像的空间信息和光谱信息尽可能多地融合，提高融合效果，是遥感图像融合中重点关注的问题。

近年来提出了许多先进的基于深度学习的方法，具有很大的潜力，深度学习模型由多个变换层构建，在每一层中，对输入数据进行线性过滤以产生输出数据，多个层叠加形成具有高度非线性的总变换，深度学习，尤其是卷积神经网络(CNN)，提供了更好的转换建模，这有助于拟合复杂的转换。在训练过程中，参数在训练样本的监督下更新，并提高拟合精度，受深度学习在计算机视觉领域的强大能力的启发，在遥感图像融合中，深度学习的方法所提取的特征比传统方法提取的特征具有更强的表现能力，如：基于卷积神经网络的三层CNN结构进行遥感图像融合方面，率先提出了基于CNN的遥感图像融合算法PNN(Pansharpening by CNN)，显著提高了遥感图像融合算法的性能，生成了高分辨率的多光谱遥感图像；基于残差连接深度网络用于遥感图像融合DRPNN(Pansharpening by DeepResidual CNN)，该算法融合了残差连接学习特征，在残差连接架构的支持下，可以形成非常深的卷积网络框架，保证网络不易退化同时提高了融合的精度，也提升了网络性能；(Two-stream fusion network)TFnet通过对PAN和MS图像的特征采用双通道的CNN来分别提取，并采用残差连接学习浅层特征然后基于身份跳跃过程来强化深层特征，强化了特征的学习提升融合网络的性能，然而上述方法在提取图像中的空间信息和光谱信息时，并不能专注的进行，导致最终的全色锐化图像的融合效果并没有达到最佳效果。

发明内容

鉴以此，本发明提出基于残差通道注意力机制的双流遥感图像融合方法，构建残差注意力网络，通过残差注意力网络中的通道注意力机制使网络专注于更有用的信道并增强学习能力，保证可以获得最终高分辨率的多光谱遥感图像。

本发明的技术方案是这样实现的：

基于残差通道注意力机制的双流遥感图像融合方法，包括以下步骤：

步骤S1、使用卷积神经网络对全色图像和低分辨率多光谱遥感图像进行特征提取，并将两者进行拼接获得拼接特征；

步骤S2、构建残差注意力网络，所述残差注意力网络包括残差注意力模块，所述残差注意力模块中包含通道注意力机制；

步骤S3、将拼接特征输入到残差注意力网络中进行卷积处理，获得初始特征，残差注意力模块根据通道注意力机制对初始特征进行加权分配处理，获得新特征，根据新特征获得强化特征；