[发明专利]一种基于联合注意力孪生网络的遥感图像融合分类方法

说明书

本发明公开了一种基于联合注意力孪生网络的遥感图像融合分类方法，包括以下步骤：将高光谱和多光谱图像作为数据集进行处理；构建孪生网络模块，提取高光谱和多光谱图像的共性特征；将孪生网络的输出特征作为联合注意力模块的输入，实现特征降维；添加自注意力模块进行加权操作；将多层卷积网络输出的特征图与注意力模块得到的增强特征进行连接，并添加互注意力模块；将两部分多层卷积网络提取出的高光谱和多光谱图像特征进行融合，通过全连接层进行分类，获取遥感图像的分类结果。本发明的方法，可以有效提取高光谱和多光谱图像的共性特征，而且通过联合注意力模块使得图像各自的光谱和空间信息得到增强，进而提高融合分类效果。

技术领域

本发明属于遥感图像分类应用，涉及一种基于联合注意力孪生网络的遥感图像融合分类方法。

背景技术

遥感图像分类是指基于不同遥感图像的分类识别任务，是遥感领域的关键组成部分，被广泛应用于自然灾害预防、城乡规划等领域。现阶段遥感领域发展迅猛，多传感器并存，为遥感行业的发展提供了有力的保障。

光学遥感影像具有分辨率高、覆盖范围广和成本低等优点，利用遥感影像进行地物分类多基于光学影像，但当前的遥感应用大多基于单一数据源，未能充分利用多源传感器的综合信息。同一场景的多源遥感图像所观测的地物类型相同，但由于传感器不同，成像机制和物理含义不同，多源信息间存在差异性、冗余性、互补性和协作性，多源遥感图像的融合能够综合利用不同来源获取的地物信息，做到更全面、更具针对性的对地观测，因此多源遥感图像的融合成为遥感图像分类的热点发展方向之一。

由于存在上述问题，针对多源遥感图像融合分类依据提出一些算法，但是效果仍没有达到最佳，性能提升空间很大，因此多源遥感图像融合分类问题依然有很大的研究价值。

发明内容

针对上述技术问题，本发明提供一种基于联合注意力孪生网络的遥感图像融合分类方法，不仅可以有效提取高光谱和多光谱图像的共性特征，而且通过联合注意力模块使得图像各自的光谱和空间信息得到增强，进而提高融合分类效果。

为实现上述目的，本发明采用的技术方案为：

步骤一、将同一区域的高光谱图像和多光谱图像作为数据集进行处理，并划分训练集、测试集和验证集：

步骤101、对多光谱遥感图像和高光谱遥感图像进行配准和标注，并将配准好的图像和标注图像的像素点划分为k×k的像素块大小，利用中心点相邻的像素点特征信息来增强判别能力；

步骤102、对划分好的像素块进行随机分割，构建训练集、测试集和验证集，输入到孪生网络模块；

步骤二、构建孪生网络模块，提取高光谱图像和多光谱图像的共性特征：

步骤201、构建卷积神经网络ResNet-101，包括五个卷积模块，分别为Conv1-x、Conv2-x、Conv3-x、Conv4-x、Conv5-x；

步骤202、采用双分支ResNet-101网络作为孪生网络，分别对高光谱图像和多光谱图像进行特征提取，生成局部特征F_h和F_m，特征提取器之间共享参数，使得模型能够获得更一致的特征图对，并且模型的网络参数也极大减少；

步骤三、将孪生网络的输出特征作为联合注意力模块的输入，实现特征降维：

步骤301、构建卷积神经网络作为联合注意力模块，共包含两部分多层卷积网络H-Net和M-Net，每部分均由两分支三层卷积网络组成，分别为光谱注意力分支和空间注意力分支；