[发明专利]一种基于混合卷积神经网络的高光谱遥感图像分类方法

权利要求书

1.一种基于混合卷积神经网络的高光谱遥感图像分类模型，其特征在于包括多尺度特征提取及融合模块、空间-光谱注意力模块、空间注意力模块和分类模块；

多尺度特征提取及融合模块包括采用并行卷积块结构，且该模块中不同分路的卷积层使用不同尺寸的卷积核，每个卷积层后添加批量归一化层和激活层，卷积操作设置填充保持特征图大小一致，对不同分路获得的特征图Ⅰ进行融合，得到融合多尺度特征的特征图Ⅱ；

空间-光谱注意力模块使用非局部注意力机制对特征图Ⅲ进行注意力操作，通过卷积核尺寸为1的卷积层实现数据的降维，抑制特征图Ⅲ中的无关信息；非局部注意力机制在计算特征图中每个像素位置输出时，不再只对邻域像素进行计算而是对特征图中所有位置像素进行计算得到相关性，然后将相关性作为一个权重表征其他位置像素和当前待计算像素的相似度；由于高光谱图像同时具有空间维度和光谱维度，因此在空间维度和光谱维度同时进行非局部操作，通过计算特征图中像素间的相关性，获得更加全面的特征图Ⅳ；

空间注意力模块同样使用非局部注意力机制对特征图进行注意力操作，使用2维卷积核，只在空间维度进行非局部操作，计算不同空间位置像素的相关性；

分类模块包括全局平均池化层、一个全连接层及softmax分类函数；全局平均池化层将模型提取到的空间特征图进行聚合，压缩数据量，然后作为全连接层的输入，最后利用softmax函数进行分类。

2.根据权利要求1所述的基于混合卷积神经网络的高光谱遥感图像分类模型，其特征在于所述的特征图Ⅲ是通过3维卷积层得到的，用于输入到空间-光谱注意力模块中；所述的空间-光谱注意力模块后串接两层卷积层+批量归一化层和激活层，用于进一步提取空间-光谱特征图；所述的空间注意力模块后添加两层二维卷积层+批量归一化层和激活层，用于进一步提取空间特征图。

3.根据权利要求1或2所述的基于混合卷积神经网络的高光谱遥感图像分类模型，其特征在于通过使用一层在光谱维度大小等同于空间-光谱特征图数量的3维卷积层，将其深度归一，然后去除深度维度后的特征图Ⅴ与多尺度特征提取模块提取到的特征图Ⅱ聚合作为空间注意力模块的输入。

4.一种基于混合卷积神经网络的高光谱遥感图像分类方法，其特征在于包括如下步骤：

步骤(1)将3维卷积神经网络和2维卷积神经网络进行串联，加入并行卷积块和非局部注意力模块，构建自定义的神经网络；

步骤(2)将有标注的高光谱图像划分为若干有重叠的H×W×C小数据立方体作为模型的输入；

步骤(3)将样本按一定的比例划分为训练集和测试集；

步骤(4)分批次将训练集样本输入神经网络进行训练，直到模型稳定；

步骤(5)使用训练好的模型对高光谱图像进行分类，通过预先划分好的测试集评估模型的分类效果，并最终得到分类结果图。