[发明专利]基于三维深度残差网络的空谱融合高光谱图像分类方法

摘要

本发明属于高光谱智能感知领域，具体公开了一种基于三维深度残差网络的空谱融合高光谱图像分类方法，通过步骤：S1使用滑窗法生成候选框，生成若干窗口；S2将窗口随机划分为训练集与测试集数据；S3基于训练集中的高光谱数据对三维深度残差网络(3D‑CNN)进行训练；S4将测试集样本输入到分类模型中，提取输入数据的特征并预测其分类，实现了同时提取高光谱图像的光谱特征和空谱特征，进一步提高了高光谱图像分类精度，同时引入了残差网络结构，解决了传统高光谱分类神经网络中的学习退化问题。本发明结构清晰、易于实现，能充分利用高光谱图像的结构特征，在减少计算耗时的同时，显著提升了高光谱图像目标分类精度。

主权项

1.基于三维深度残差网络的空谱融合高光谱图像分类方法，其特征在于：包含以下步骤：S1：使用滑窗法生成候选框，生成若干窗口；对输入图像利用不同窗口尺寸的滑窗进行从左往右、从上到下的滑动，生成若干个尺寸相同的窗口；为了提高物体识别精度以及召回率，需要考虑不同的窗口尺寸以及长宽比这两个参数；S2：随机划分训练集与测试集数据，将上一步中生成的窗口按比例随机划分为训练集和测试集；S3：将训练集样本输入到三维深度残差网络中，处理过程如下：S3‑1：利用多个3D‑CNN层捕获高光谱图像的光谱特征和空间特征,其中，网络中的3D‑CNN层的具体结构如下：(a)：基本三维卷积层，该单元进行基本的三维卷积操作，并通过批量归一化层还原最初输入数据的分布，还可通过一个可选的非线性变换层进行非线性操作，使得卷积单元具有求解线性不可分的能力；其中三维卷积操作用来同时捕获空间和光谱维度的特征，形式上，(x,y,z)点在第i层的第j个特征立方体上的卷积值为：其中H_i是三维卷积核的高，W_i是三位卷积核的宽，D_i是三维卷积核的光谱深度，i是前一层的特征立方体个数，j是本层卷积核的数量，m是前一层的卷积核个数，是第(h,w,r)个连接到前一层中第m个特征立方体的值，b_ij是后向传播时的偏置调整值；对三维卷积神经网络中的每个特征立方体独立处理，并将m的值取为1，(1)式可以转换为：其中，是第l层中第j个卷积核第i个特征立方体中计算出的点(x,y,z)的值，是第(h,w,d)个连接到前一层中第i个特征立方体的值；通过卷积，第l层卷积层的输出将会包含i×j个三维特征立方体；(b)：带下采样的三维残差网络层，通过保持一个三维卷积单元的输出不变，而将另一个三维卷积单元的步长调整为2，实现跳跃采样，将输出的矩阵规模降低一半，其还通过残差块，直接将输入连接到第二个三维卷积单元上，实现跳跃连接，避免了网络深度变大时训练退化的问题；(c)：普通非下采样的三维残差网络层，该层通过增加跳跃连接实现恒等映射，同时通过在主路径两个三维卷积单元上连续减半和加倍输出通道维度减少中间层的计算量，并保持最终输出结果不变，进而实现一个残差块；S3‑2：再通过SPP层将特征图转化为固定大小的矩阵，使得网络在不同尺寸的高光谱图像上均能使用；S3‑3：将固定大小的矩阵输入到全连接层中，对提取的特征进行线性加权和非线性变换；S3‑4：最后通过输出层即可计算得出分类结果；完成一次上述S3‑1到S3‑4的训练过程后，将网络得出的分类结果与样本的标注结果进行比对，计算出损失，再通过反向传播修改各级网络参数，不断重复上述训练过程，达到训练网络的效果；S4：将测试集样本放入分类模型中，对提取的特征进行处理，进行分类预测；将测试集样本放入训练好的三维卷积神经网络中，得到高光谱图像的特征表示，通过Softmax作为输出层，对提取的特征进行处理，实现分类计算；其中，Softmax函数如下：其中，C为类别的个数；a_i为神经网络全连接层的输出；y_i为Softmax的输出，表示区域内目标属于第i类的概率并选择概率最高的类别确定为该区域目标类别。