[发明专利]一种基于对抗学习的手绘草图检索遥感图像的方法

说明书

本发明提供一种基于对抗学习的手绘草图检索遥感图像的方法，该方法利用了深度卷积神经网络提取手绘草图和遥感图像的高层语义特征，并利用对抗学习使深度卷积神经网络能够提取手绘草图域和遥感图像域之间不变的特征。网络的输入为手绘草图和遥感图像对，特征提取器分别提取手绘草图和遥感图像的特征；然后将提取到的特征分别作为域鉴别器和分类器的输入，根据提取到的特征判别输入的域及类别。本发明采用的基于对抗学习的手绘草图检索遥感图像方法，能够有效提取手绘草图和遥感图像的高层语义信息，弥合两个域之间的差距，得到更高的检索精度。

技术领域

本发明属于图像处理技术领域，特别涉及基于草图的遥感图像检索方法。

背景技术

随着遥感图像数量的急剧增长，从大规模数据库中智能检索遥感图像成为大量研究工作的重点。传统的基于内容的图像检索技术是利用输入的查询图像在数据库中查找具有相似内容的遥感图像。然而感兴趣目标经常只存在于用户的脑海中，没有查询图像可用，例如感兴趣目标非常少见或者用户不认识感兴趣目标。与利用文字来描述感兴趣目标的方式相比，手绘草图是一种更直观、更简洁、更生动的描述方式，如图1所示。并且由于触屏设备的蓬勃发展，获取手绘草图十分便捷。目前基于草图的自然图像检索已经有了大量的工作，也取得了不错的成果。但基于草图的遥感图像检索还甚少有人研究。由于遥感图像几何结构和空间格局的高复杂性，在自然图像上发展起来的检索方法在遥感图像上不能取得满意的结果。总的来说，基于草图的遥感图像检索还尚未解决，存在以下两点挑战：(1)草图和遥感图像本质上属于两个完全不同的域，前者由稀疏的黑色线条和白色背景构成，后者由稠密的彩色像素点构成，遥感图像复杂的特性进一步扩大了两个域之间的差距；(2)现有的方法往往只将草图与训练样本中包含的类别相关联，对未知类别不具有泛化性。而现实场景中，草图往往是用来形容未知目标，模型只能利用从已知类别学习到的常识和度量准则来计算手绘草图和遥感图像之间的相似度。一种弥合草图和遥感图像之间的差距的泛化性模型，目前还未有人实现过。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于对抗学习的手绘草图检索遥感图像的方法，该方法能够更好地弥合草图和遥感图像之间的差距，对于未知目标具有更好的泛化性，以更高的精度实现基于草图的遥感图像检索。

本发明提供的基于对抗学习的手绘草图检索遥感图像方法，包括以下具体步骤：

步骤1，将手绘草图、遥感图像分别输入到两路完全相同、参数共享的特征提取器G(·)中，提取手绘草图和遥感图像的特征，即：将手绘草图s输入特征提取器得到手绘草图的特征将遥感图像r输入特征提取器得到遥感图像的特征其中θ_G为表示特征提取器的参数；

步骤2，将提取的手绘草图特征F_s和遥感图像特征F_r分别输入到鉴别器D(·)中，根据提取的特征判别网络的输入是手绘草图还是遥感图像，即：将手绘草图特征F_s输入鉴别器得到将遥感图像特征F_r输入鉴别器得到其中θ_D为表示鉴别器的参数；

步骤3，计算损失函数使得鉴别器能够根据输入的特征正确地判别网络的输入是手绘草图还是遥感图像；

步骤4，产生多组手绘草图和遥感图像对(s,r)，通过反向传播算法来进行训练鉴别器，得到步骤2中的最优参数

步骤5，利用步骤4得到的最优参数将手绘草图特征F_s输入鉴别器得到将遥感图像特征F_r输入鉴别器得到

步骤6，将提取的手绘草图特征F_s和遥感图像特征F_r分别输入到分类器C(·)中，根据提取的特征判别网络的输入属于哪一类别，即：将手绘草图特征F_s输入分类器得到将遥感图像特征F_r输入分类器得到其中θ_C为表示分类器的参数；