[发明专利]结合EMP特征和TNT模块的高光谱影像分类方法及装置

权利要求书

1.一种结合EMP特征和TNT模块的高光谱影像分类方法，其特征在于，包含以下步骤：

利用扩展形态学剖面提取整个高光谱影像的EMP特征，并将生成的EMP立方体依次划分为若干个斑块；

将每个斑块展开并进行线性变换，得到一个斑块嵌入和若干个像素嵌入；

将斑块嵌入和像素嵌入分别加入到各自对应的位置编码中，将得到的向量一起输入到包含L个TNT模块的深度网络模型中进行分类。

2.根据权利要求1所述的结合EMP特征和TNT模块的高光谱影像分类方法，其特征在于，提取EMP特征，生成EMP立方体，包括：

利用主成分分析对高光谱影像进行降维处理，并保留前3个主成分；

利用结构元素对3个主成分进行开闭运算，则一个主成分图像产生包括其本身在内的9个EMP特征图，而3个主成分就产生27个EMP特征图；

经EMP特征提取后，W×H×C大小的高光谱影像就转换为W×H×27大小的图像，其中W、H、C分别表示图像的宽、高和波段数；

选择中心像素附近的所有数据生成EMP立方体。

3.根据权利要求2所述的结合EMP特征和TNT模块的高光谱影像分类方法，其特征在于，选取大小为3、5、7、9的十字形结构元素分别对输入的主成分图像进行4次开闭运算提取不同尺度下的空间特征。

4.根据权利要求2所述的结合EMP特征和TNT模块的高光谱影像分类方法，其特征在于，EMP特征提取公式如下：

式中，I为输入图像，m为主成分个数，n为开闭运算次数，和γ_R分别表示开运算和闭运算，MP⁽ⁿ⁾(I)为对图像I做开闭运算后组成的形态学剖面特征。

5.根据权利要求2所述的结合EMP特征和TNT模块的高光谱影像分类方法，其特征在于，将EMP立方体划分成n个斑块X＝[X¹,X²,…,Xⁿ]∈R^n×p×p×27，其中(p,p)为每个斑块的大小。

6.根据权利要求5所述的结合EMP特征和TNT模块的高光谱影像分类方法，其特征在于，将每个斑块展开并进行线性变换，得到一个斑块嵌入和若干个像素嵌入，包括：

通过展开和线性变换将每个斑块转化为多个(p′,p′)的像素嵌入，那么斑块张量序列表示为：

式中，每个斑块张量被视为一个像素嵌入序列，转换后的总像素数m＝p′²，表示一个像素的向量。

7.根据权利要求6所述的结合EMP特征和TNT模块的高光谱影像分类方法，其特征在于，所述TNT模块包括外部转换器和内部转换器，所述外部转换器用于处理斑块级特征，所述内部转换器用于处理像素级特征；

对于像素嵌入，内部转换器提取像素级特征的计算公式如下：

式中，索引层l＝1,2,…,L，L为总层数，表示第l层像素嵌入序列，表示第l-1层像素嵌入序列，LN表示视觉转换器的层归一化，MLP表示视觉转换器的多层感知器，MHA表示视觉转换器的多头注意机制；

对于斑块层，通过新建斑块嵌入内存来存储斑块级特征序列：其中Z_class表示类标记，n表示斑块数，d表示的维数，j＝1,2,…,n；斑块张量通过线性投影变换为斑块嵌入域，并添加到斑块嵌入中，公式如下：

式中，Vec表示扁平化操作，W和b分别为权值和偏置，表示第l-1层斑块嵌入序列；

外部转换器提取斑块级特征的计算公式如下：

式中，表示第l层斑块嵌入序列，表示第l-1层斑块嵌入序列。

8.一种结合EMP特征和TNT模块的高光谱影像分类装置，其特征在于，包括：

EMP特征提取模块，用于利用扩展形态学剖面提取整个高光谱影像的EMP特征，并将生成的EMP立方体依次划分为若干个斑块；

斑块转换模块，用于将每个斑块展开并进行线性变换，得到一个斑块嵌入和若干个像素嵌入；

TNT深度网络分类模块，用于将斑块嵌入和像素嵌入分别加入到各自对应的位置编码中，将得到的向量一起输入到包含L个TNT模块的深度网络模型中进行分类。