[发明专利]一种基于混合卷积神经网络的高光谱遥感图像分类方法

说明书

本发明公开了一种混合卷积神经网络的高光谱遥感图像分类方法。本发明包括：1、将3维和2维卷积神经网络进行串联，加入并行卷积块和非局部注意力模块，构建自定义的神经网络；2、将有标注的高光谱图像划分为若干有重叠的小数据立方体作为模型的输入；3、将样本按一定的比例划分为训练集和测试集；4、分批次将训练集样本输入神经网络进行训练，直到模型稳定；5、使用训练好的模型对高光谱图像进行分类，通过预先划分好的测试集评估模型的分类效果，并最终得到分类结果图。本发明充分利用高光谱遥感图像丰富的光谱信息和空间信息。同时在进行注意力操作的过程中使用1×1卷积压缩特征图通道维度，降低模型的计算量，提高模型的训练速度。

技术领域

本发明涉及图形处理领域，具体为一种基于混合卷积神经网络的高光谱遥感图像分类方法。

背景技术

高光谱遥感图像波段宽度通常约为数十纳米，比多光谱图像的带宽窄得多。因此，高光谱遥感图像具有更丰富的光谱信息，并广泛应用于各个领域。高光谱遥感影像在具有丰富光谱信息的分类任务中具有天然优势。因此，高光谱遥感广泛应用于精准农业、岩石和矿物识别、环境监测，海洋遥感等领域。

对于高光谱遥感影像的分类任务，传统方法包括基于光谱特征的分类方法和基于数据统计特征的分类方法，但其无法充分利用高光谱遥感图像的空间信息和丰富的光谱信息，往往分类准确率不高。近年来，一些深度学习模型被引入到高光谱遥感影像分类领域，尤其是卷积神经网络。卷积神经网络利用卷积层提取输入数据的特征，利用池化层对从卷积层提取的特征图进行下采样，扩展卷积核的感受域，压缩数据。通过卷积层和池化层的叠加，卷积神经网络不仅可以提取图像中的浅层纹理特征，还可以提取深层语义特征。

但是，由于高光谱图像中光谱信息的高冗余性，导致使用卷积神经网络对其进行分类往往需要较深的网络结构。同时，由于同一层的卷积核使用相同的尺寸，容易出现特征信息提取不足的问题，同样会导致分类准确率不高。

发明内容

本发明针对目前高光谱遥感图像分类存在的问题，提供了基于混合卷积神经网络的高光谱遥感图像分类方法。本方法构建了一种基于并行卷积块和非局部注意力机制的混合卷积神经网络高光谱图像分类模型，包括多尺度特征提取及融合模块、空间-光谱注意力模块、空间注意力模块和分类模块。

多尺度特征提取及融合模块采用并行卷积块结构，且该模块中不同分路的卷积层使用不同尺寸的卷积核，每个卷积层后添加批量归一化层和激活层，卷积操作设置填充保持特征图大小一致，对不同分路获得的特征图Ⅰ进行融合，得到融合多尺度特征的特征图Ⅱ。

空间-光谱注意力模块使用非局部注意力机制对特征图Ⅲ进行注意力操作，通过卷积核尺寸为1的卷积层实现数据的降维，抑制特征图Ⅲ中的无关信息，使得有效信息更加突出。非局部注意力机制在计算特征图中每个像素位置输出时，不再只对邻域像素进行计算而是对特征图中所有位置像素进行计算得到相关性，然后将相关性作为一个权重表征其他位置像素和当前待计算像素的相似度。由于高光谱图像同时具有空间维度和光谱维度，因此可以在空间维度和光谱维度同时进行非局部操作，通过计算特征图中像素间的相关性，获得更加全面的特征图Ⅳ。

所述的特征图Ⅲ是通过3维卷积层得到的，用于输入到空间-光谱注意力模块中。

进一步地，在空间-光谱注意力模块后串接了两层卷积层+激活层用于进一步提取空间-光谱特征图。

进一步地，通过使用一层在光谱维度大小等同于空间-光谱特征图数量的3维卷积层，将其深度归一，然后去除深度维度后的特征图Ⅴ与多尺度特征提取模块提取到的特征图Ⅱ聚合作为空间注意力模块的输入。

空间注意力模块和空间-光谱注意力模块类似，空间注意力模块同样使用非局部注意力机制对特征图进行注意力操作，使用2维卷积核，只在空间维度进行非局部操作，计算不同空间位置像素的相关性。

进一步地，在空间注意力模块后添加两层二维卷积层+批量归一化层和激活层，用于进一步提取空间特征图。