[发明专利]一种基于多头注意力生成对抗网络的遥感场景分类方法

权利要求书

1.一种基于多头注意力生成对抗网络的遥感场景分类方法，其特征在于，该方法的具体步骤如下：

(1)将多头注意力机制引入生成对抗网络，构建Multihead-attention GAN网络，该网络包含一个嵌入多头注意力机制的生成器和一个嵌入多头注意力机制的判别器；

(2)获取原始遥感图像数据集，划分训练集、验证集和测试集，使用训练集交替训练判别器和生成器，直到生成器和判别器达到纳什均衡，得到最优的网络模型；

(3)提取步骤(2)得到的最优网络模型中生成器生成的遥感图像，与原始遥感图像训练集合并，得到新的遥感图像训练集；

(4)使用新的遥感图像训练集训练深度卷积神经网络分类器，使用验证集进行验证，在测试集上实现遥感图像的分类；

所述步骤(1)中，构建Multihead-attention GAN结构如下：

Multihead-attention GAN由嵌入了Multihead-attention机制的生成器和判别器构成；生成器G包含七层：五层反卷积层和两层Multihead-attention层；判别器D包含七层：五层卷积层和两层Multihead-attention层；

所述生成器的输入是128维的随机噪声z，经过第一层反卷积层TConv1后，生成的特征图为4×4×512；经过第二层反卷积层Tconv2后，生成的特征图为8×8×256；经过第三层反卷积层Tconv3后，生成的特征图为16×16×128；经过第四层Multihead-attention层GAtten1之后，生成的特征图为16×16×128；经过第五层反卷积层Tconv4后，生成的特征图为32×32×64；经过第六层Multihead-attention层GAtten2之后，生成的特征图为32×32×64；经过第七层反卷积层Tconv5后，生成的特征图为64×64×3，即为生成的遥感图像；

所述判别器的输入是真实的遥感图像和生成器生成的遥感图像，大小均为64×64×3；经过第一层卷积层Conv1之后，生成的特征图为32×32×64；经过第二层卷积层Conv2之后，生成的特征图为16×16×128；经过第三层卷积层Conv3之后，生成的特征图为8×8×256；经过第四层Multihead-attention层DAtten1之后，生成的特征图为8×8×256；经过第五层卷积层Conv4之后，生成的特征图为4×4×512；经过第六层Multihead-attention层DAtten2之后，生成的特征图为4×4×512；经过第七层卷积层Conv5之后，最后输出的特征图是1×1×1，表示输入分类器中待分类的图像所属的类别；

其中，Multihead-attention机制是在Self-attention机制上进行改进，将Self-attention的单头改为多头，针对每一个head执行attention操作；步骤如下：

1)将输入多头注意力机制层的特征图，从通道上划分为L个head，并且在每个head内计算attention矩阵；计算每个head的attention矩阵方法如下：

首先，Multihead-attention对从判别器中第三层卷积层Conv3、第五层卷积层Conv4或生成器中第三层反卷积层Tconv3、第五层反卷积层Tconv4中提取出的特征图赋予不同的权重矩阵W_Q、W_K和W_V，生成特征图W_Qx_h、W_Kx_h和W_Vx_h；其中C是特征图的通道数，N是特征图单个通道上像素点的个数；

其次，经过非线性变换f(x)＝W_fx和g(x)＝W_gx将特征图W_Qx_h、W_Kx_h和W_Vx_h转换到特征空间f和g中；其中x表示输入的特征图，W_f,W_g分别表示将输入特征图转换到特征空间f和g的权重矩阵；

然后，计算第l个head的attention矩阵：

其中，表示归一化之后第l个head的attention矩阵，表示在Multihead-attention机制中，生成第j个区域时第i个位置对其的关注程度；N表示特征图单个通道上像素点的个数，x_hi表示特征空间f中的像素点，x_hj表示特征空间g中的像素点；均为权重矩阵，C是原始输入特征图的通道数，L为多头注意力机制中head的个数，是每一个head划分到的通道数；

2)将每个head的attention矩阵作用于该head对应的输入特征图中的像素点，得到每个head的输出结果；将所有head的输出结果进行融合，融合后的结果作为该多头注意力机制层的输出；方法如下：

第l个head中的像素点组成的区域内，第j个像素x_hj经过作用之后的结果为：

其中，h(x)＝W_hx；W_h是将特征图转换到特征空间h时的权重矩阵；

第j个像素x_hj经过第l个head的attention机制计算之后的输出为：

其中，γ^(l)表示的权重，表示第j个像素经过第l个head中的attention矩阵计算之后的输出结果；

将所有head的输出进行融合，得到：

Output＝v(concat(O⁽¹⁾,O⁽²⁾,…,O^(l),…,O^(L))W^O)

其中，O^(l)是经过第l个head attention作用之后的所有像素点的集合，v(x)＝W_Vx，是权重矩阵，W^O是权重矩阵。