[发明专利]基于自监督学习及多任务学习的高光谱开放集分类方法

权利要求书

1.一种基于自监督学习和多任务学习的高光谱开放集分类方法，其特征在于，包括：

(1)获取一幅三维高光谱图像X∈R^m×n×b和对应的标签图Y∈R^m×n，其中，R表示实数域符号，m表示X和Y的行像素点个数，n表示X和Y的列像素点个数，b代表高光谱图像的波段个数；

(2)对获取的三维高光谱开放集X进行归一化的预处理；

(3)对预处理后的图像进行0像素边缘填充操作，并逐像素遍历图像生成邻域块，将生成的所有邻域块作为数据集合；

(4)生成训练数据集与测试数据集：

(4a)将数据集合中所有已知类别的邻域块作为自监督预训练数据集；

(4b)从数据集合中的所有已知类别中，每类抽取20个有标签邻域块，作为有监督训练数据集，并将每个邻域块的中心像素点的标签作为该邻域块的标签；

(4c)将数据集合中的所有邻域块作为测试数据集；

(5)构建由特征提取子网络、数据重建子网络和分类子网络构成的神经网络模型，该特征提取子网络的输出分别与数据重建子网络及分类子网络的输入相连；其中的特征提取子网络、数据重建子网络和分类子网络的结构和参数分别如下：

所述特征提取子网络，其结构依次为：第1二维卷积层→第1规范层→第1激活函数层→第2二维卷积层→第2激活函数层→第3二维卷积层→融合层→全局平均池化层，其中，所述融合层是将第1二维卷积层和第3二维卷积层经由加法操作相融合；其中第1、第2、第3二维卷积层的卷积核长度均设置为3，卷积步长均设置为1每个规范层的动量因子均设置为0.9；全局平均池化层的池化长度设置为2；每个激活函数层的激活函数均设置为ReLU激活函数；

所述数据重建子网络，其结构依次为：第1二维反卷积层→第2规范层→第3激活函数层→第2二维反卷积层→第4激活函数层→第3二维反卷积层→第3规范层→第5激活函数层→第4二维反卷积层→第6激活函数层→第5二维反卷积层；其参数设置为：第1二维反卷积层的卷积核长度设置为1，卷积步长设置为1；将第2、第3、第4、第5二维反卷积层的卷积核长度均设置为3，卷积步长均设置为1；将第3激活函数层到第6激活函数层的激活函数均设置为ReLU激活函数；

所述分类子网络，其结构为：全连接层→第7激活函数层；其中全连接层的输出神经元的个数设置为类别数，第7激活函数设置为Softmax激活函数；

(6)依次利用自监督学习方法和多任务学习方法对神经网络模型进行训练，得到训练好的神经网络模型；其中依次利用自监督学习方法和多任务学习方法对神经网络模型进行训练，实现如下：

(6a)利用自监督学习方法进行第一阶段的训练：

(6a1)将自监督训练集输入到网络中，经过特征提取网络得到训练样本的特征向量，将特征向量输入到数据重建网络得到重建数据：

其中，x_i是第i个输入训练样本，表示特征提取子网络函数，表示第i个训练样本经过特征提取子网络后得到的输出特征向量，f_r(·)是重建子网络函数，是第i个训练样本的重建数据；

(6a2)设置网络学习率为0.01，停止迭代次数为1000，重建损失函数为：

其中，||·||₁表示进行l₁范数计算，x_i是第i个输入训练样本，是第i个训练样本的重建数据；

(6a3)采用梯度下降法，通过最小化重建损失函数l_r，优化特征提取子网络和数据重建子网络的网络参数，直到达到停止迭代次数为止，得到通过第一阶段训练后的网络；

(6b)利用多任务学习方法进行第二阶段的训练：

(6b1)将有监督训练集输入到第一阶段训练后的网络中，经过其中的特征提取子网络得到训练样本的特征向量，将该特征向量分别通过其中的数据重建子网络和分类子网络得到训练样本的重建数据和类别概率向量；

(6b2)学习率设置为0.001，设置停止迭代次数为200，设置加权总损失函数如下为：其中，λ_c和λ_r是控制多任务网络的交叉熵损失l_c和重建损失l_r的权重参数，l_c为交叉熵损失函数，表示为：

式中，m是样本总数，y_i是第i个样本使用one-hot编码方式的真实样本标签，是第i个样本经过模型预测后得到的属于所有类的概率向量；

(6b3)采用梯度下降法，通过迭代最小化多任务损失函数l_a，直到达到停止迭代次数为止，得到通过第二阶段训练后的网络，即最终训练好的神经网络模型；

(7)利用训练好的网络对测试样本进行预测：

(7a)通过网络中的特征提取子网络和分类子网络得到测试样本的类别标签，通过网络中的特征提取子网络和重建子网络得到重建损失；

(7b)将重建损失输入到威布尔分布模型计算得出该测试数据属于未知类的概率P；

(7c)通过实验设定阈值T，将属于未知类的概率P与阈值T进行比较：

若PT，则将数据预测为未知类别，

若PT，则将数据预测为(7a)中得到的类别标签。