[发明专利]基于多模态压缩双线性池化的高光谱图像分类方法

说明书

本发明公开了基于多模态压缩双线性池化的高光谱图像分类方法，其特征是，包括如下步骤：1）数据预处理；2）光谱通道特征提取；3）空间通道特征提取；4）空‑谱特征融合；5）高光谱像元分类。这种方法有效解决了原光谱和空间特征向量外积维数较高，计算复杂，容易产生过拟合的问题。

技术领域

本发明涉及智能图像处理技术领域，具体涉及基于多模态压缩双线性池化(Multimodal Compact Bilinear Pooling，简称MCB)的高光谱图像分类方法。

背景技术

高光谱图像(Hyperspectral image,简称HSI)具有光谱分辨率高、图谱合一的独特优点，已被广泛应用于目标追踪、环境保护、农业监测及气象预报等领域。对高光谱图像中每个像元进行分类是高光谱遥感应用的基石，具有极大的研究意义。

传统的高光谱图像分类方法往往只基于光谱信息在低维空间上提取特征，典型的方法主要包括：K-均值聚类(K-means)方法、流形学习(Manifold Learning)、支持向量机(Support vector machine,简称SVM)等。然而，这些分类方法依赖于浅层光谱特征，忽略了对高光谱空间信息的使用，同时所提取高光谱图像特征的不变性及判别性较差。为了改善高光谱图像的分类性能，联合利用高光谱图像的光谱和空间信息设计分类器已成为一个主要的研究方向。近年来，深度学习以其在视觉感知任务中的优秀表现获得了广大高光谱分类研究者的热切关注。Liu等人将高光谱图像的光谱带看作一个图像序列，使用长短期记忆网络学习光谱信息的依赖关系，同时结合卷积神经网络来提取高光谱图像的空间特征，提出了双向卷积长短期记忆网络(Bidirectional Convolutional Long Short TermMemory，简称Bi-CLSTM)空-谱提取模型；另一方面，Yang等人构建双通道卷积神经网络(TwoChannel Convolutional Neural Network,简称Two-CNN)分别对光谱信息和空间信息进行提取，继而使用级联(concatenate)的方式对空-谱特征进行连接；Zhang等人在此基础上对光谱通道和空间通道不同层的特征进行级联，实现空-谱分级特征结合的效果，该工作在高光谱图像分类中，为从双通道特征提取角度进行空-谱特征结合提供了新思路。

发明内容

本发明的目的是针对现有技术的不足，而提供一种基于多模态压缩双线性池化的高光谱图像分类方法。这种方法优点之一是充分利用空-谱特征，采用双通道卷积神经网络分别对高光谱图像的光谱和空间信息进行特征提取；优点之二是使用多模态压缩双线性池化产生空-谱联合特征，可以分析光谱和空间特征向量中每个元素之间的复杂关系，改善高光谱图像的分类性能；优点之三是多模态压缩双线性池化可避免直接对光谱和空间向量进行外积计算，解决原两个向量外积计算过程中维数过高，计算困难的问题。

实现本发明目的的技术方案是：

基于多模态压缩双线性池化的高光谱图像分类方法，包括如下步骤：

1)数据预处理：对原高光谱图像的每个像元在光谱维度上进行归一化处理、对原高光谱图像的每个波段在空间维度上进行归一化处理；

2)光谱通道特征提取：选取在光谱维度上归一化处理后的高光谱图像的第n个像素的光谱带s_n∈R^M×1，作为光谱通道的输入，此后使用1-D核对光谱输入进行卷积和最大池化操作，在光谱通道的全连接层获得光谱通道的输出特征其中M为光谱带长度，K为全连接层的神经元个数；