[发明专利]基于多路注意力机制的语义卷积高光谱图像分类方法

权利要求书

1.一种基于多路注意力机制的语义卷积高光谱图像分类方法，其特征在于，包括如下：

(1)输入原始三维高光谱图像，并在高光谱图像边缘填充0像素的尺寸t；再在填充操作后的高光谱图像中，以每个像素点为中心，选取高光谱图像块；

(2)用高光谱图像块生成样本数不同的训练样本集和测试样本集；

(3)搭建多路注意力机制的语义卷积神经网络；

(3a)搭建谱分支网络：

(3a1)构建由三个卷积层，三个归一化层，三个Mish激活函数层组成的谱间稠密特征提取模块，该模块结构依次为：第1卷积层→第1归一化层→第1激活函数层→第1拼接层→第2卷积层→第2归一化层→第2激活函数层→第2拼接层→第3卷积层→第3归一化层→第3激活函数层→第3拼接层；

所述第1拼接层，用于将第1卷积层的输入、第1激活函数层输出拼接在一起；

所述第2拼接层，用于将第1卷积层的输入、第1激活函数层输出，第2激活函数层输出拼接在一起；

所述第3拼接层，用于将第1卷积层的输入、第1激活函数层输出，第2激活函数层输出，第3激活函数层输出拼接在一起；

所述第1卷积层，第2卷积层，第3卷积层的卷积核大小均设置为1*1*7，通道数设置为12；

所述第1激活函数层，第2激活函数层，第3激活函数层中的Mish激活函数均相同，表示如下：

Mish(x)＝x*tanh(ln(1+e^x))，

其中，x表示激活函数的输入，tanh(·)表示双曲正切函数，ln(·)表示自然对数函数；

(3a2)构建由M路谱间注意力机制子模块线性相加组成的多路谱间注意力机制模块，每一路谱间注意力机制子模块包括reshape层、矩阵转置与相乘层、softmax层、数据reshape层和相加层；

所述每一路谱间注意力机制子模块其包括四个reshape层，一个转置层，两个相乘层，一个相加层，一个softmax层，其连接结构为：

第一reshape层，第二reshape层，第三reshape层三者并联；

第三reshape层与转置层串联；

第二reshape层与转置层并联后再与第一相乘层串联；

第一相乘层与softmax层串联；

第一reshape层与softmax层并联后，再与第二相乘层串联；

第二相乘层与第四reshape层和相加层依次串联；

(3a3)将谱间稠密特征提取模块与多路谱间注意力机制模块串联，组成谱分支网络；

(3b)搭建空间分支网络：

(3b1)构建由尺度操作层、卷积层、归一化层、Mish激活函数层、拼接层组成的多尺度空间特征提取模块；其中的尺度操作层，是以选取的图像块中心像素点为中心从边缘位置减少一个像素点，且光谱通道数不变；

(3b2)构建由N路空间注意力机制子模块线性相加组成的多路空间注意力机制模块，每一路空间注意力机制子模块包括卷积层、归一化层、Mish激活函数层、reshape层、矩阵转置与相乘层、softmax层、数据reshape层和相加层；

所述每一路空间注意力机制子模块，包括3个卷积层，3个归一化层，3个激活层，4个reshape层，1个转置层，2个相乘层，1个相加层，1个softmax层，其连接结构为：

第1个卷积层、第1个归一化层、第1个激活层、第1个reshape层和转置层依次串联；

第2个卷积层、第2个归一化层、第2个激活层和第2个reshape层依次串联；

第2个reshap层与转置层并联后、再与第1个相乘层、softmax层相串联；

第3个卷积层、第3个归一化层、第3个激活层和第3个reshape层串联；

第3个reshape层与softmax层并联；

第2个相乘层、第4个reshape层和相加层依次串联；

(3b3)将多尺度空间特征提取模块和多路空间注意力机制模块相串联，组成空间分支网络；

(3c)将谱分支网络、空间分支网络并联后再与全连接层，softmax分类器串联，组成多路注意力机制的语义卷积神经网络，并选择focal loss函数作为该网络的损失函数；

(4)利用训练样本集采用随机梯度下降法对多路注意力机制的语义卷积神经网络进行训练，直到focal loss损失函数收敛，得到训练好的多路注意力机制的语义卷积神经网络；

(5)将测试样本输入到训练好的多路注意力机制的语义卷积神经网络，得到测试样本的类别标签，完成高光谱图像的分类。