[发明专利]基于时-空-谱注意力机制的多时相高光谱影像变化检测方法

权利要求书

1.一种基于时-空-谱注意力机制的多时相高光谱影像变化检测方法，其特征在于按如下步骤进行：

步骤1.建立并初始化用于多时相高光谱影像变化检测的卷积神经网络N_mhi，所述N_mhi包含2个用于特征提取的子网络N_featurespa和N_featurespe以及1个用于变化检测的子网络N_CD；

步骤1.1建立并初始化子网络N_featurespa，所述子网络N_featurespa含有4组卷积层，分别为Conv1_0、Conv1_1、Conv1_2和Conv1_3，以及自定义模块MPSA和1组最大池化层MaxPool1；

所述Conv1_0包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有100个大小为3×3的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；

所述Conv1_1包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有100个大小为3×3的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；

所述Conv1_2包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有200个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数ReLU作为激活函数进行运算；

所述Conv1_3包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有200个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；

所述自定义模块MPSA模块包含2组并行的卷积层，分别为Conv1_11和Conv1_12，以及自定义模块L_PAM和自定义连接层Concatenate1；

所述Conv1_11包含一层卷积操作，含有256个空洞率为3、大小为3×3的卷积核，每个卷积核以1个像素为步长进行卷积运算；

所述Conv1_12包含一层卷积操作，含有256个空洞率为4、大小为3×3的卷积核，每个卷积核以1个像素为步长进行卷积运算；

所述自定义模块L_PAM包含3组并行的卷积层，分别为Conv1_Q、Conv1_K和Conv1_V，其中：

所述Conv1_Q包含一层卷积操作，含有32个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算；

所述Conv1_K包含一层卷积操作，含有32个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算；

所述Conv1_V包含一层卷积操作，含有256个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算；

所述自定义连接层Concatenate1用于连接两个特征；

所述最大池化层MaxPool1包含1层池化操作、2层全连接操作、2层激活操作、2层Dropout操作和1层Flatten操作，其中，池化层以大小为2×2的池化核进行最大池化运算，2层全连接层分别有1024和512个输出单元，并选用ReLU作为激活函数进行运算，再执行参数为0.5的Dropout操作，最后通过Flatten操作得到空间域特征F^spa；

步骤1.2.建立并初始化子网络N_featurespe，该网络包含1组自定义模块L_CAM，2组卷积层Conv2_0、Conv2_1以及1组最大池化层MaxPool2；

所述自定义L_CAM模块用于计算光谱注意力特征；

所述Conv2_0包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有32个大小为11的一维卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；

所述Conv2_1包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有96个大小为3的一维卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；

所述最大池化层MaxPool2包含1层池化操作和1层Flatten操作，其中，池化层以大小为2的一维池化核进行最大池化运算，再通过Flatten操作得到光谱域特征F^spe；

步骤1.3.建立并初始化子网络N_CD，该网络包含1组自定义连接层Concatenate2，1组参数为0.5的Dropout操作以及1组全连接层Dense1；

所述自定义连接层Concatenate2用于连接两个特征；

所述全连接层Dense1有2个分类单元，分别代表变化与不变，并采取Softmax作为激活函数；

步骤2.输入高光谱影像的训练集X、人工已标注的像元点坐标集和标签集，对N_mhi进行训练；

步骤2.1.定义和为分别于时间t₁和t₂获取的同一地区双时相高光谱遥感影像，大小为M×N×D，其中M和N分别表示图像的长度和宽度，D为图像的通道数；通过公式(1)获得多时相高光谱差分影像

DI＝|log(I2-I1)| (1)

步骤2.2.根据人工已标注的像元点坐标集，提取标签的像元点集合X_H＝{x_H，i|i＝1，...，m}，其中x_H，i表示X_H中的第i个像元点，m表示具有标签的像元点总数；

步骤2.3.根据公式(2)对X_H进行标准化处理，得到其中，表示标准化后的具有标签的高光谱影像像元点集合，表示的第i个像元点；

步骤2.4.以的每个像元点为中心将X分割成一系列大小为r×r的高光谱像元块集合X_H1，其中r为预设的高光谱像元块长度和宽度；

步骤2.5.将X_H1中的每个像元块进行上下翻转，得到高光谱像元块集合X_H2；

步骤2.6.对X_H1中的每个像元块添加方差为0.01的高斯噪声，得到高光谱像元块集合X_H3；

步骤2.7.将X_H1中的每个像元块以其中心点为旋转中心顺时针随机旋转z×90度，得到高光谱像元块集合X_H4，其中z表示从集合{1，2，3}中随机选取出的数值；

步骤2.8.令将作为变化检测神经网络的训练集，并将训练集中的样本整合为元组的形式作为网络数据输入，其中，表示训练集中高光谱影像像元块，Y_i表示对应的真实类别标签，令迭代次数iter←1，执行步骤2.9至步骤2.13；

步骤2.9采用子网络N_featurespa提取训练集的空间特征；

步骤2.9.1利用子网络N_featurespa前三层卷积层Conv1_0、Conv1_1和Conv1_2依次对高光谱影像的训练集进行特征提取，得到高光谱影像的初步空间特征F_{conv1_2}；

步骤2.9.2利用自定义模块MPSA对初步空间特征F_{Conv1_2}进行进一步的特征提取，包括以下a-c步骤；

(a)利用并行的卷积Conv1_11和Conv1_12对初步空间特征P_{Conv1_2}进行卷积，分别得到特征F_{Conv1_11}和F_{Conv1_12}；

(b)将特征F_{Conv1_11}和F_{Conv1_12}分别输入自定义模块L_PAM计算得到空间注意力特征和具体包括以下3个步骤：

①将输入的三维张量F送入卷积层Conv1_Q计算得到特征再将F送入卷积层Conv1_K计算得到特征接着将F送入卷积层Conv1_V计算得到特征其中，F_Q，i、F_K，i和F_V，i分别表示F_Q、F_K和F_V的第i个元素，C_spa表示输入张量的通道数，H_spa和W_spa分别表示输入张量的长度和宽度，K₁＝32，K₂＝32，K₃＝256；

②利用reshape操作将F_Q和F_K映射到空间，并根据公式(3)计算空间注意力矩阵

其中，N₁表示特征的总数且表示F_spaX中第j行第h列的元素，表示F_K的第j个元素的转置；

③利用reshape操作将F_V映射到空间，根据公式(4)计算空间注意力特征F_spaA；

其中，η_spa是预设的缩放系数，表示F_spaX的第g行元素所组成的向量；

(c)根据公式(5)利用自定义连接层Concatenate1将和进行连接操作，得到MPSA模块的输出F_MPSA，其中，表示第1个L_PAM模块的输出，表示第2个L_PAM模块的输出；

其中，“|”表示连接第1个空间注意力特征与第2个空间注意力特征的操作；

步骤2.9.3利用子网络N_featurespa的最后一层卷积Conv1_3对特征F_MPSA进行计算，得到特征F_{Conv1_3}；

步骤2.9.4利用自定义模块MPSA对特征F_{Conv1_3}进行进一步的特征提取得到空间特征F_final；

步骤2.9.5利用最大池化层MaxPool1对空间特征F_final进行计算，得到高光谱影像的空间域特征F^spa；

步骤2.10采用子网络N_featurespe提取训练集的光谱特征；

步骤2.10.1利用自定义模块L_CAM对高光谱影像的训练集进行计算，得到高光谱影像的光谱注意力特征F_speA，具体步骤如下：

所述自定义L_CAM模块利用reshape操作将输入的三维张量F₁映射至空间，得到特征其中，C_spe表示输入的通道数，N₂＝1×1，表示F_speR的第i个通道；再根据公式(6)计算光谱注意力矩阵

其中，表示F_speS中第j行第i列的元素，表示F_speR的第j个通道的转置，表示F_speR的第k个通道，“·”表示内积运算；进而根据公式(7)将F_speR与F_speS进行矩阵乘法运算，得到光谱注意力特征F_speA；

其中，η_spe表示预设的系数；

步骤2.10.2利用卷积层Conv2_0对光谱注意力特征F_speA进行卷积得到特征F_{Conv2_0}；

步骤2.10.3利用卷积层Conv21对特征F_{Conv2_0}进行卷积得到特征F_{Conv2_1}；

步骤2.10.4利用最大池化层MaxPool2对特征F_{Conv2_1}进行计算，得到高光谱影像的光谱域特征F^spe；

步骤2.11采用子网络N_CD进行变化检测；

步骤2.11.1根据公式(8)利用自定义连接层Concatenate2将空间域特征F^spa和光谱域特征F^spe进行连接操作得到融合特征F_merge；

F_merge＝(F^spa|F^spe) (8)

步骤2.11.2对融合特征F_merge进行参数为0.5的Dropout操作，再输入Dense1计算得出变化结果CM_pred；

步骤2.12根据公式(9)和公式(10)的定义，将加权的交叉熵作为损失函数；

其中，T表示总训练样本数，ω_j表示第j类的权重，Pr(y_n＝j|F_M；θ)表示第n个像元点属于第j类的概率，n_j表示训练样本中第j类像元点的数量；

步骤2.13若训练集中的所有像元块均已处理完毕，则转入步骤2.14，否则，从训练集中取出一组未处理的像元块，返回步骤2.9；

步骤2.14令iter←iter+1，若迭代次数iterTotal_iter，则得到了已训练好的卷积神经网络N_mhi，转入步骤3；否则，利用基于Adam的反向误差传播算法和预测损失Loss更新N_mhi的参数，转入步骤2.9重新处理训练集中的所有像元块，所述Total_iter表示预设的迭代次数；

步骤3.输入未被标记的高光谱影像X′，对X′的全部像元进行数据预处理，并采用已完成训练的卷积神经网络N_mhi完成变化检测；

步骤3.1.在X′中提取全部像元点组成集合P_H＝{p_H，l|l＝1，...，U}，其中，p_H，l表示P_H的第l个像元，U表示全部像元的总数；

步骤3.2.根据公式(11)对P_H进行标准化处理，得到其中，表示标准化后的高光谱影像像元点集合，表示的第l个像元点；

步骤3.3.以的每个像元点为中心将X′分割成一系列大小为r×r的高光谱像元块集合，组成高光谱影像测试集其中r为预设的高光谱像元块长度和宽度；

步骤3.4.采用子网络N_featurespa提取测试集的空间特征；

步骤3.4.1利用子网络N_featurespa前三层卷积层Convl_0、Conv1_1和Conv1_2依次对高光谱影像的测试集进行特征提取，得到高光谱影像的初步空间特征P_{Conv1_2}；

步骤3.4.2利用自定义模块MPSA对初步空间特征P_{Conv1_2}进行进一步的特征提取，包括以下a-c步骤；

(a)利用并行的并行的卷积Conv1_11和Conv1_12对初步空间特征P_{Conv1_2}进行卷积，分别得到特征P_{Conv1_11}和P_{Conv1_12}；

(b)将特征P_{Conv1_11}和P_{Conv1_12}分别输入自定义模块L_PAM计算得到空间注意力特征和具体包括以下3个步骤：

①将输入的三维张量P送入卷积层Conv1_Q计算得到特征再将P送入卷积层Conv1_K计算得到特征接着将P送入卷积层Conv1_V计算得到特征其中，P_Q，i、P_K，i和P_V，i分别表示P_Q、P_K和P_V的第i个元素，C_spa表示输入张量的通道数，H_spa和W_spa分别表示输入张量的长度和宽度，K₁＝32，K₂＝32，K₃＝256；

②利用reshape操作将P_Q和P_K映射到空间，并根据公式(12)计算空间注意力矩阵

其中，N₁表示特征的总数且N₁＝H_spa×W_spa，表示P_spaX中第j行第h列的元素，表示P_K的第j个元素的转置；

③利用reshape操作将P_V映射到空间，根据公式(13)计算空间注意力特征P_spaA；

其中，η_spa是预设的缩放系数，表示P_spaX的第g行元素所组成的向量；

(c)根据公式(14)利用自定义连接层Concatenate1将和进行连接操作，得到MPSA模块的输出P_MPSA，其中，表示第1个L_PAM模块的输出，表示第2个L_PAM模块的输出；

其中，“|”表示连接第1个空间注意力特征与第2个空间注意力特征的操作；

步骤3.4.3利用子网络N_featurespa的最后一层卷积Conv1_3对特征P_MPSA进行计算，得到特征P_{Conv1_3}；

步骤3.4.4利用自定义模块MPSA对特征P_{Conv1_3}进行进一步的特征提取得到空间特征P_final；

步骤3.4.5利用最大池化层MaxPooll对空间特征P_final进行计算，得到高光谱影像的空间域特征P^spa；

步骤3.5.采用子网络N_featurespe提取测试集的光谱特征；

步骤3.5.1利用自定义模块L_CAM对高光谱影像的训练集P_H^est进行计算，得到高光谱影像的光谱注意力特征P_speA，具体步骤如下：

所述自定义L_CAM模块利用reshape操作将输入的三维张量P₁映射至空间，得到特征其中，C_spe表示输入的通道数，N₂＝1×1，表示P_speR的第i个通道；再根据公式(15)计算光谱注意力矩阵

其中，表示P_spes中第j行第i列的元素，表示P_speR的第j个通道的转置，表示P_speR的第k个通道，“·”表示内积运算；进而根据公式(16)的定义将P_speR与P_speS进行矩阵乘法运算，得到光谱注意力特征P_speA；

其中，η_spe表示预设的系数；

步骤3.5.2利用卷积层Conv2_0对光谱注意力特征P_speA进行卷积得到特征P_{Conv2_0}；

步骤3.5.3利用卷积层Conv2_1对特征P_{Conv2_0}进行卷积得到特征P_{Conv2_1}；

步骤3.5.4利用最大池化层MaxPool2对特征P_{Conv2_1}进行计算，得到高光谱影像的光谱域特征P^spe；

步骤3.6采用子网络N_CD进行变化检测；

步骤3.6.1根据公式(17)利用自定义连接层Concatenate2将空间域特征P^spa和光谱域特征P^spe进行连接操作得到融合特征P_merge；

P_merge＝(P^spa|P^spe) (17)

步骤3.6.2对融合特征P_merge进行参数为0.5的Dropout操作，再输入Dense1计算得出变化结果P_pred。