[发明专利]一种基于空间-光谱联合注意力机制的高光谱图像分类方法

权利要求书

1.一种基于空间-光谱联合注意力机制的高光谱图像分类方法主要是由空间-光谱联合注意力机制模块和嵌入卷积神经网络方式两部分组成：

1、空间-光谱联合注意力机制模块由三个子模块组成，空间注意力分数提取子模块、光谱注意力分数提取子模块和注意力分数分配子模块；其中，空间注意力分数提取分支提取空间中任意两个像素间相似性特征，获取空间注意力分数图；光谱注意力分数提取分支提取不同光谱波段中相关依赖性，获取光谱波段的注意力分数图；再将注意力分数分配子模块分别提取到的空间注意力分数图和光谱注意力分数图，逐像素逐光谱地分配到原特征空间中，获得包含不同像素点、不同波段注意力特征的注意力分数立方体；具体如下：

(1)空间注意力分数提取子模块

步骤一：将输入图像X分别映射到嵌入光谱特征空间中，以得到两个新特征图θ(X)和φ(X)；

步骤二：利用嵌入空间内的高斯函数计算任意两个像素相似性s_ij，获得空间注意力分数图S，最后再利用神经网络softmax层进行归一化操作；

(2)光谱注意力分数提取子模块

步骤三：将输入图像X分别映射到嵌入空间特征空间中，以得到两个新特征图u(X)和ω(X)；

步骤四：利用嵌入空间内的高斯函数计算任意两个光谱波段对应特征图的相似性q_ij，获得光谱注意力分数图Q，实验中，采用3*3分层(Depth-wise)卷积层实现；最后再利用神经网络Softmax层进行归一化操作；

(3)注意力分数分配子模块

注意力分数分配子模块的作用是将提取的空间注意力分数和光谱注意力分数分配到原来的特征空间中，获得包含不同空间域、不同波段注意力特征的注意力分数立方体；

步骤五：为了确保注意力机制模块可以根据任务需求，自适应地聚焦于特征图的局域空间和局部光谱波段，首先在特征空间内进行映射，采用3*3卷积运算得到一个全新特征图

步骤六：将空间注意力分数S和光谱注意力分数Q分配到原来的特征空间中，获得注意力机制分数立方体A

2、空间-光谱联合注意力机制模块嵌入卷积神经网络方式有三种：

(1)串联嵌入方式；

(2)并联嵌入方式；

(3)串并联嵌入方式。