[发明专利]基于光谱和空间稀疏特征表示的高光谱图像分割方法

说明书

本发明公开一种基于光谱和空间稀疏特征表示的高光谱图像分割方法，通过构建基础网络模型，初步提取视觉特征；接着通过在光谱维度进行分组获得多组光谱特征，在每组特征中使用光谱卷积神经网络获得每组光谱内部之间的关系；再通过稀疏Transformer模块来进行多个光谱组之间的交互，获得光谱之间的序列信息；之后通过空间卷积模块来提取高光谱图像的空间局部特征，通过稀疏Transformer模块提取高光谱图像的空间全局特征，最后将获得的光谱空间特征进行分割。

技术领域

本发明涉及图像处理技术，具体涉及一种基于光谱和空间稀疏特征表示的高光谱图像分割方法。

背景技术

高光谱遥感图像由于是对物体在大范围波段内连续成像，具有光谱分辨率高、蕴含信息丰富的优点，因此，高光谱图像在遥感领域得到了广泛的应用。高光谱图像分割在地质勘探、食品安全、环境监测等领域有着重要的应用，也是高光谱遥感领域其他应用的基础，其目的是对大范围波段连续成像的像元按照其语义划分为不同的地物类别。

近年来，随着计算机并行计算能力的快速提高以及各类数据量的指数级增长，深度神经网络作为一种强大的特征提取方法已受到国内外学者的广泛关注并已成功应用于图像、文本、语音、视频等数据的特征提取中且普遍取得了比传统方法更好的效果，因此也被引入到高光谱图像的分割中来。目前基于深度神经网络进行高光谱图像分割的方法有基于栈式自编码(SAE)的，基于深度置信网(DBN)的和基于深度卷积神经网络(DCNN)的。

Zhouhan Lin等人在其发表的论文“Deep Learning-Based Classification ofHyperspectral Data”中使用SAE对高光谱图像进行分割，该方法将原始高光谱图像块取7×7小块，然后用主成分分析(PCA)对每一个小块在光谱维度进行降维，将降维后的图像拉伸成向量作为SAE的输入，用SAE提取非线性特征，最后用支持向量机(SVM)进行分割。TongLi等人在论文“Classification ofhyperspectral image based on deep beliefnetworks”中使用DBN对高光谱图像进行分割，该方法将图像用PCA降维后对每个像素取7×7小块，然后拉成向量再与原始像素向量进行拼接，这样得到的长向量作为深度置信网(DBN)的输入，最后用逻辑回归(LR)分割器进行分割。

但是，SAE和DBN都需要输入的数据为一维的向量，也就是在使用SAE和DBN进行高光谱图像分割时都需要先将输入数据转化成一维的向量形式，DCNN可以允许二维图像的输入，因此在保留像素空间信息的情况下，DCNN具有更低的输入复杂度，因而在高光谱图像分割应用中使用得最为广泛。

Konstantinos Makantasis等人在论文“Deep supervised learning forhyperspectral data classification through convolutional neural networks”中使用DCNN对高光谱图像进行分割，该方法首先对原始高光谱图像使用随机化主成分分析(R-PCA)进行降维，然后对降维后的图像进行取块，划分训练集、验证集和测试集，最后将训练集用于DCNN的训练。卷积处理的数据一般都是很密集的，但是有些数据是十分稀疏的，比如点云数据。在这些稀疏数据上直接用密集的卷积网络是非常没有效率的。Benjamin Graham等人在论文“Submanifold Sparse Convolutional Networks”引入了一种稀疏卷积运算，该运算针对处理稀疏数据而定制，与之前的稀疏卷积网络的工作不同，它严格地在子流形上运行，而不是将观测扩展到网络的每一层。Guangxiang Zhao等人在论文“Explicitsparse transformer:Concentrated attention through explicit selection”中提出了稀疏Transformer架构应用于图像处理，将稀疏性引入Transformer架构中，通过稀疏Transformer模型中的注意力矩阵来达到减少内存消耗、降低计算力。