[发明专利]基于迁移学习的高光谱空谱联合特征提取方法

说明书

本发明公开了基于迁移学习的高光谱空谱联合特征提取方法，属于深度学习遥感领域。提取高光谱数据的空谱联合的特征的方法为首先设计1D CNN和2D CNN分别提取高光谱数据的光谱和空间特征，再将两部分特征融合。为克服深度神经网络需要大量训练数据而高光谱数据缺少标记样本的矛盾，本发明采用在RGB图像数据集ImageNet上预训练的模型ResNet‑18迁移到高光谱图像目标域的方法，实现网络参数共享，减少训练模型的计算成本。基于提取到的组合特征训练SoftMax层实现高光谱目标分类任务。最后，通过微调的迁移学习策略，使迁移后的模型更适应高光谱数据，提高分类精度。本发明结构清晰、易于实现，具有深厚的理论基础和现实意义。

技术领域

本发明主要涉及到高光谱图像分类领域，特指一种基于迁移学习的高光谱数据空谱联合特征提取方法，用于高光谱分类。

背景技术

随着光谱成像技术的发展，高光谱成像由于其从可见光到近红外波长范围的宽带检测而引起了遥感领域广泛关注。其中针对高光谱数据进行目标检测和图像分类的应用也越来越成熟。早期的高光谱分类方法很大程度上依赖于人工专门知识，且分类依据大都基于浅层特征，导致分类精度低且成本高。近年来随着深度学习的发展，深度学习方法以其可以模拟更复杂的函数，以及可以分层提取特征而具有更好的特征提取和表达能力。

将深度学习方法应用在在高光谱分类问题中可以提高算法性能，降低大量手工标注的成本并挖掘更深层的特征。一些具有代表性的方法有堆叠式自动编码器(SAE)，受限玻尔兹曼机器(RBM)和卷积神经网络(convolutional neural network，CNN)。其中，CNN是在高光谱分类领域应用最广泛的深度学习网络，通常采用的结构有1D CNN，2D CNN，3D CNN，以及混合结构CNN网络等。

然而，基于深度学习的高光谱分类问题存在两个矛盾。一是高光谱不同类的光谱特征差异性低，仅利用光谱特征进行分类出错率较高。二是随着参与运算波段数目的增加，分类精度出现的“先增后降”的现象，深度学习模型易出现过拟合的现象。针对类内差异的问题，通常采取的对应方法是将空间领域信息嵌入到频谱特征中，即综合考虑高光谱的空谱特征再进行分类。针对休斯(Hughes)现象，一些代表性的方法有迁移学习(transferlearning，TL)，数据增强(DA)方法以及无监督/半监督学习方法。迁移学习是指将网络参数从源域转移到目标域，从而减少随机初始化过程并获得更好的性能的方法。其优点是：(1)不需要大量的训练样本；(2)通过共享预训练模型的权重节省训练时间。

目前将迁移学习应用于高光谱图像问题中的诸多方法中，通常迁移的源域和目标域均属于同源或异源的高光谱数据。例如Yang等人提出基于迁移学习的双分支CNN结构通过提取空谱联合特征用于高光谱分类，这种方法虽然通过迁移学习节省了随机初始化过程，但仍然需要大量的高光谱标记数据来对模型进行预训练。例如专利CN109754017A中提出的三维残差网络和迁移学习高光谱图像分类方法通过迁移不同传感器获取的高光谱数据实现网络模型更深的小样本高光谱图像分类，该发明针对异源高光谱之间的迁移学习，但没有解决高光谱分类问题中休斯现象Hughes带来的特征维度与样本数目不匹配的问题，3D网络结构提取的特征更深，特征维度更高，异源高光谱之间的数据偏移(Data Shift)问题也无法得到有效改善。

然而，近年来在各种图像分类任务中表现更佳的各种深度神经网络模型(例如ResNet，VGG-Net、Google-Net等)的训练测试数据集均为大量采集的RGB图像。为了充分利用这类优秀的模型结构，并且希望通过迁移学习达到提升高光谱分类效果，解决高光谱有标记训练数据少的难题，必须首先解决RGB图像迁移到高光谱图像过程中的维度失配问题。