[发明专利]基于注意力机制和循环神经网络的高光谱图像分类方法

权利要求书

1.一种基于注意力机制和循环神经网络的高光谱图像分类方法，其特征在于，构建并训练循环神经网络，利用注意力提议模块和处理模块得到输入空间像素块感兴趣的局部区域，利用循环神经网络提取待分类高光谱图像的空间-光谱联合特征，该方法具体步骤包括如下：

(1)构造循环神经网络：

(1a)搭建一个由三个结构不同的子网络级联而成的循环神经网络：

循环神经网络中的第一个子网络和第二个子网络的结构相同，依次为：第1卷积层→第1池化层→第2卷积层→第2池化层→注意力提议模块→处理模块，其中注意力提议模块由两个全连接层串联组成，处理模块由掩膜处理、像素级乘法函数和双线性插值函数实现；设置每层的参数为：将第1和第2卷积层卷积核个数分别设置为16和32，卷积核大小均设置为3×3，步长均设置为1，填充像素均设置为1；将第1和第2池化层滤波器尺寸均设置为2×2，步长均设置为2；将注意力提议模块两个全连接层的节点个数分别设置为128和3；

循环神经网络中的第三个子网络的结构依次为：第1卷积层→第1池化层→第2卷积层→第2池化层→第3卷积层→第3池化层→第4卷积层→第4池化层→第1全连接层；设置每层的参数为：将第1、第2、第3和第4卷积层卷积核个数分别设置为64、128、256和512，卷积核大小均设置为3×3，步长均设置为1，填充像素均设置为1；将第1、第2、第3和第4池化层滤波器尺寸均设置为2×2，步长均设置为2；将第1全连接层节点个数设置为待分类高光谱图像的类别数；

(2)生成训练集：

(2a)输入一幅高光谱图像和对应的标签图像；

(2b)利用主成分分析方法，从高光谱图像中选取包含99％信息量的5个波段，组成一幅5个波段的高光谱图像，再将该高光谱图像归一化到[0，1]之间，得到归一化的高光谱图像；

(2c)在归一化的高光谱图像上，以每个有标签像素为中心，取其邻域大小为61×61像素的空间像素块，将所有空间像素块组成空间像素块集合；

(2d)从空间像素块集合中随机选取5％的空间像素块，组成训练集；

(3)训练循环神经网络：

将训练集中所有的空间像素块输入到循环神经网络中，利用注意力提议模块和处理模块得到循环神经网络第二个子网络的输入空间像素块，再将第二个子网络的输入空间像素块输入注意力提议模块和处理模块得到循环神经网络第三个子网络的输入空间像素块，输出每个空间像素块的预测标签，利用交叉熵损失函数，计算所有空间像素块的预测标签和真实标签之间的损失值，再利用梯度下降算法，更新循环神经网络中的所有参数，直至循环神经网络收敛，得到训练好的循环神经网络；

(4)对待分类的高光谱图像进行分类：

采用与步骤(2)相同的方法，对待分类的高光谱图像进行处理，得到所有空间像素块集合，再将所有空间像素块输入到训练好的循环神经网络中，输出每个空间像素块集合的预测标签。

2.根据权利要求1所述的基于注意力机制和循环神经网络的高光谱图像分类方法，其特征在于，步骤(1a)中所述的掩膜处理是由下式实现的：

其中，M_i表示循环神经网络第i个子网络的掩膜，i＝1,2，x,y分别表示第i个子网络的掩膜M_i的宽和高，x,y的取值等于0到待分类高光谱图像的宽和高，分别表示第i个子网络感兴趣方形区域左上角点的横坐标和纵坐标，分别表示第i个子网络感兴趣方形区域右下角点的横坐标和纵坐标，分别表示循环神经网络第i个子网络的注意力模块输出的感兴趣方形区域的中心点坐标和宽度值的一半。

3.根据权利要求1所述的基于注意力机制和循环神经网络的高光谱图像分类方法，其特征在于，步骤(1a)中所述的像素级乘法函数如下：

其中，表示循环神经网络第i个子网络得到的感兴趣方形区域块，X_i表示循环神经网络第i个子网络的输入空间像素块。