[发明专利]结合EMP特征和TNT模块的高光谱影像分类方法及装置

说明书

本发明属于高光谱图像分类技术领域，特别涉及一种结合EMP特征和TNT模块的高光谱影像分类方法及装置，该方法首先利用扩展形态学剖面提取整个高光谱影像的EMP特征，并将生成的EMP立方体依次划分为若干个斑块；然后将每个斑块展开并进行线性变换，得到一个斑块嵌入和若干个像素嵌入；最后将斑块嵌入和像素嵌入分别加入到各自对应的位置编码中，将得到的向量一起输入到包含L个TNT模块的深度网络模型中进行分类。与支持向量机和其它的CNN深度学习模型相比，本发明能够获得更高的分类精度。

技术领域

本发明属于高光谱图像分类技术领域，特别涉及一种结合EMP特征和TNT模块的高光谱影像分类方法及装置。

背景技术

高光谱图像分类是高光谱图像处理分析中最重要的环节之一，其准确的分类结果可为后续任务提供有力的数据支持。目前，高光谱图像分类已广泛应用于精细农业、城市规划、资源勘探等多个领域。高光谱图像包含了丰富的光谱信息，每个像素点都具有近似连续的光谱曲线，这为地物的准确分类识别提供了可能。但高光谱图像的高维复杂性、波段间的相关性给分类识别带来影响，为充分利用高光谱图像中的光谱特征进行分类，主成分分析(PCA)、独立成分分析(ICA)和局部线性嵌入(LLE)等光谱特征提取技术得到了广泛应用。同时，受环境、设备等因素的影响，高光谱图像还存在“同物异谱”和“同谱异物”的现象。为进一步提高高光谱图像分类的准确性和鲁棒性，基于扩展形态剖面(EMP)和局部二值模式(LBP)等空间特征提取的高光谱图像分类方法得到广泛关注。同时，光谱和空间特征提取技术常常与支持向量机(SVM)等机器学习分类器结合进行分类，可在一定程度上提高分类精度。然而，传统的特征提取加分类器的模式并不能完全适应高光谱图像的高维、非线性、空间-光谱信息融合等特点。

与传统机器学习方法相比，深度学习方法可以逐层自动学习有利于目标任务的深度抽象特征，这些特征信息量大、鲁棒性强。目前，深度学习模型如堆叠自动编码器(Stacked Auto Encoder,SAE)、循环神经网络(recurrent neural network,RNN)、深度信念网络(Deep belief networks,DBN)和卷积神经网络(convolutional neural networks,CNN)等在高光谱图像分类中得到了广泛的应用，且在足够训练样本下取得了比传统分类方法更好的分类性能。在上述的网络模型中，CNN一直是一个不可或缺的重要模块。

尽管如此，CNN在长距依赖建模和全局上下文信息获取等方面依然存在不足。相比之下，转换器模型将输入图像看作序列斑块，可以更好地利用大范围内的全局上下文信息，目前在图像分割、目标检测等计算机视觉任务中获得了较好结果。另外，转换器模型本身还包含自注意机制，可以更准确地捕获到有利于目标任务的特征和信息，从而获得精度更高、鲁棒性更强的分类结果。

发明内容

针对现有技术中基于卷积神经网络(CNN)的深度学习模型存在不善于远程依赖关系的建模和全局上下文信息的获取等问题，本发明提出一种结合EMP特征和TNT(Transformer-iN-Transformer)模块的高光谱影像分类方法及装置，该方法首先提取高光谱影像的EMP特征，然后将得到的EMP立方体直接输入到构建的基于TNT模块的深度网络模型中进行端到端分类，提高高光谱影像的分类精度。

为了实现上述目的，本发明采用以下的技术方案：

本发明提供了一种结合EMP特征和TNT模块的高光谱影像分类方法，包含以下步骤：

利用扩展形态学剖面提取整个高光谱影像的EMP特征，并将生成的EMP立方体依次划分为若干个斑块；

将每个斑块展开并进行线性变换，得到一个斑块嵌入和若干个像素嵌入；

将斑块嵌入和像素嵌入分别加入到各自对应的位置编码中，将得到的向量一起输入到包含L个TNT模块的深度网络模型中进行分类。

进一步地，提取EMP特征，生成EMP立方体，包括：