[发明专利]一种基于联合注意力孪生网络的遥感图像融合分类方法

权利要求书

1.一种基于联合注意力孪生网络的遥感图像融合分类方法，其特征在于，包括以下步骤：

步骤一、将同一区域的高光谱图像和多光谱图像作为数据集进行处理，并划分训练集、测试集和验证集：

步骤101、对多光谱遥感图像和高光谱遥感图像进行配准和标注，并将配准好的图像和标注图像的像素点划分为k×k的像素块大小，利用中心点相邻的像素点特征信息来增强判别能力；

步骤102、对划分好的像素块进行随机分割，构建训练集、测试集和验证集，输入到孪生网络模块；

步骤二、构建孪生网络模块，提取高光谱图像和多光谱图像的共性特征：

步骤201、构建卷积神经网络ResNet-101，包括五个卷积模块，分别为Conv1-x、Conv2-x、Conv3-x、Conv4-x、Conv5-x；

步骤202、采用双分支ResNet-101网络作为孪生网络，分别对高光谱图像和多光谱图像进行特征提取，生成局部特征F_h和F_m，特征提取器之间共享参数，使得模型能够获得更一致的特征图对，并且模型的网络参数也极大减少；

步骤三、将孪生网络的输出特征作为联合注意力模块的输入，实现特征降维：

步骤301、构建卷积神经网络作为联合注意力模块，共包含两部分多层卷积网络H-Net和M-Net，每部分均由两分支三层卷积网络组成，分别为光谱注意力分支和空间注意力分支；

步骤302、F_h作为H-Net的输入，用于实现高光谱图像的特征降维，光谱注意力分支和空间注意力分支均包含Conv1-h、Conv2-h、Conv3-h三个卷积层，通过CNN实现特征降维，输出降维后的特征图分别为C_h1、C_h2、C_h3和S_h1、S_h2、S_h3；

步骤303、F_m作为M-Net的输入，用于实现多光谱图像的特征降维，光谱注意力分支和空间注意力分支均包含Conv1_m、Conv2_m、Conv3_m三个卷积层，通过CNN实现特征降维，输出降维后的特征图分别为C_m1、C_m2、C_m3和S_m1、S_m2、S_m3；

步骤四、添加自注意力模块进行加权操作，使网络更多关注有效信息：

步骤401、将H-Net中空间注意力分支第一个卷积层的输出S_h1作为空间注意力模块的输入，其中C为通道数，H为图像像素高度，W为图像像素宽度，通过三个卷积层得到三个新的特征Q_h1、K_h1和V_h1，将维度转化为其中N＝H×W，N为像素数，在K_h1和Q_h1之间进行矩阵乘法，并通过softmax层得到空间注意力图H₁，

步骤402、在V_h1和H₁之间进行矩阵乘法，通过尺度β进行加权，并与输入S_h1相加，得到最终的空间注意力特征：

其中x_ji表示通道i对通道j的影响，β被初始化为0，并可逐渐学习，E可以描述长期的相关性并增强特征的可辨别性；

步骤403、将H-Net中光谱注意力分支第一个卷积层的输出C_h1作为光谱注意力模块的输入，在C_h1和之间进行矩阵乘法，再通过一个softmax层计算光谱注意力特征H_1'，

步骤404、将H_1'与C_h1进行矩阵相乘，将维度转化后，通过尺度α进行加权，并与输入C_h1相加，得到最终的光谱注意力特征；

其中x_ji表示通道i对通道j的影响，α被初始化为0，并可逐渐学习，E包含所有通道特征的加权和，可以描述长期的相关性并增强特征的可辨别性；

步骤405、在H-Net和M-Net的每一个卷积层后添加自注意力模块，将空间注意力分支中各卷积层的输出作为空间自注意力模块的输入，同步骤401和步骤402；光谱注意力分支中各卷积层的输出作为光谱自注意力模块的输入，同步骤403和步骤404；

步骤406、将步骤405中每个自注意力模块的输出与该模块的输入相乘，得到注意力加权后的增强特征，并作为下一个卷积层的输入，逐层递进，分别得到H-Net两分支的输出S_h3'和C_h3'、M-Net两分支的输出S_m3'和C_m3'，输出特征将高光谱和多光谱中丰富的光谱特征和空间特征提取出来，并过滤了冗余特征，使特征更加突出；

步骤五、将多层卷积网络输出的特征图与注意力模块得到的增强特征进行连接，并添加互注意力模块，进一步增强特征的表达能力：

步骤501、将H-Net两分支的输出S_h3'和C_h3'相加，得到输出特征F_h1，融合了高光谱的光谱增强特征和空间增强特征，M-Net两分支的输出S_m3'和C_m3'相加，得到M-Net的输出特征F_m1，融合了多光谱的光谱增强特征和空间增强特征；

步骤502、在H-Net中，将光谱注意力分支第三个注意力模块的输出与空间注意力分支第三个卷积层的输出S_h3逐元素相乘，得到融合高光谱图像光谱特征和空间特征的互注意力特征F_h2；

步骤六、将两部分多层卷积网络H-Net和M-Net提取出的高光谱和多光谱图像特征进行融合，并通过全连接层进行分类，以获取遥感图像的分类结果：

步骤601、将步骤五得到的自注意力融合特征F_h1、F_m1和互注意力融合特征F_h2均转化为二维矩阵，并进行拼接；

步骤602、将步骤601输出的拼接特征输入到全连接层进行分类，将全连接层的通道数设置为与遥感图像分类类别M相等，由此可得到图像各个类别的得分，得分最高的类别即为预测的结果。