[发明专利]一种基于对抗学习的手绘草图检索遥感图像的方法

权利要求书

1.一种基于对抗学习的手绘草图检索遥感图像的方法，其特征在于，包括以下步骤：

步骤1，将手绘草图、遥感图像分别输入到两路完全相同、参数共享的特征提取器G(·)中，提取手绘草图和遥感图像的特征，即：将手绘草图s输入特征提取器得到手绘草图的特征将遥感图像r输入特征提取器得到遥感图像的特征其中θ_G为表示特征提取器的参数；

步骤2，将提取的手绘草图特征F_s和遥感图像特征F_r分别输入到鉴别器D(·)中，根据提取的特征判别网络的输入是手绘草图还是遥感图像，即：将手绘草图特征F_s输入鉴别器得到将遥感图像特征F_r输入鉴别器得到其中θ_D为表示鉴别器的参数；

步骤3，计算损失函数使得鉴别器能够根据输入的特征正确地判别网络的输入是手绘草图还是遥感图像；

步骤4，产生多组手绘草图和遥感图像对(s,r)，通过反向传播算法来进行训练鉴别器，得到步骤2中的最优参数

步骤5，利用步骤4得到的最优参数将手绘草图特征F_s输入鉴别器得到将遥感图像特征F_r输入鉴别器得到

步骤6，将提取的手绘草图特征F_s和遥感图像特征F_r分别输入到分类器C(·)中，根据提取的特征判别网络的输入属于哪一类别，即：将手绘草图特征F_s输入分类器得到将遥感图像特征F_r输入分类器得到其中θ_C为表示分类器的参数；

步骤7，计算损失函数N_c表示语义类别的总数目，该损失函数包含三项：第一项是对比损失函数，其中t表示手绘草图和遥感图像是否属于同一类别，若是，则t＝1，否则t＝0，m为设定的阈值；第二项为交叉熵损失函数，其中表示的第x个元素，表示的第y个元素；若u＝c_s，则否则若v＝c_r，则否则第三项表示更新参数后的鉴别器无法根据输入的特征正确地判别网络的输入是手绘草图还是遥感图像，即弥合了草图和遥感图像之间的差距；α，β，γ分别是三项损失函数的权重；

步骤8，由步骤4产生的多组手绘草图和遥感图像对(s,r)，通过反向传播算法来对特征提取器和分类器进行训练，得到步骤1的最优参数和步骤6中的最优参数

步骤9，通过步骤8训练得到的特征提取器，将手绘草图映射为特征G(s)，将遥感图像映射为特征G(r)，分别计算手绘草图s与数据库中每幅遥感图像的欧式距离，即Dist(s,r_k)＝||G(s)-G(r_k)||₂，其中M表示数据库中遥感图像的总数目；

步骤10，对Dist(s,r_k)进行从小到大排序，值越小，表示相似度越高，其对应的遥感图像即为检索结果。

2.如权利要求1所述的一种基于对抗学习的手绘草图检索遥感图像的方法，其特征在于：步骤1中所述特征提取器G(·)选择的是ResNet-50，参数的初始值使用Pytorch官网里提供的ResNet-50预训练模型。

3.如权利要求1所述的一种基于对抗学习的手绘草图检索遥感图像的方法，其特征在于：步骤2中所述鉴别器包括两个全连接层及一个Sigmoid函数，相当于一个二分类器，根据所得特征判别网络输入为手绘草图还是遥感图像。

4.如权利要求1所述的一种基于对抗学习的手绘草图检索遥感图像的方法，其特征在于：步骤6中所述分类器包括一个全连接层及一个Softmaxloss层，根据所得特征判别网络输入属于哪一类别。