[发明专利]一种知识图谱引导深度网络学习的遥感影像场景分类方法和系统

权利要求书

1.一种知识图谱引导深度网络学习的遥感影像场景分类方法，其特征在于：通过知识图谱中先验知识的引导来降低基于深度网络的遥感影像场景分类方法对人工标注训练样本的依赖，包括以下步骤：

步骤1，构建土地覆盖概念知识图谱；

步骤2，基于土地覆盖分类知识图谱进行土地覆盖概念语义表达，得到遥感场景语义基准，即遥感场景语义类别特征向量集合A；

步骤3，将遥感场景语义类别向量用于引导优化深度网络进行遥感影像场景分类；

所述深度网络为开源模型，将开源模型分为浅层部分和深层部分，输入的遥感影像场景通过浅层部分得到视觉特征，然后通过深层部分得到分类结果；引导优化过程中，先将浅层部分得到视觉特征变换为视觉特征向量集合V，然后通过知识引导学习模块对集合中视觉特征向量v与场景语义类别向量a进行跨模态对齐约束，引导深度网络浅层部分更有效地学习遥感场景类别间的共享特征；

所述知识引导学习模块包含一个视觉特征编码器E_v、一个视觉特征解码器D_v、一个语义特征编码器E_a和一个语义特征解码器D_a，依次实现视觉特征向量v与场景类别语义类别向量a的跨模态对齐操作，其中v∈V，a∈A；

步骤4，利用优化后的深度网络进行遥感影像场景分类。

2.根据权利要求1所述的一种知识图谱引导深度网络学习的遥感影像场景分类方法，其特征在于：步骤1中构建的土地覆盖概念知识图谱包括：领域标准、专家知识、通用知识；

其中领域标准包括国土三调分类体系，该体系按二级分类结构将土地覆盖分类任务中的遥感场景类别进行了层次化分类，并对每一种类别进行了严格的文字定义；

专家知识包括领域专家在遥感领域实践任务中整理出来的领域知识，包含遥感场景的常见内部结构和遥感场景间的空间关系知识。

3.根据权利要求1所述的一种知识图谱引导深度网络学习的遥感影像场景分类方法，其特征在于：步骤2中采取知识图谱表示学习模型DistMult来进行土地覆盖概念语义表达，并获得遥感场景语义类别表示向量，构建起的遥感场景知识图谱G被表示为事实三元组的集合G＝{h,r,t|h,t∈E,r∈R}，其中E、R分别代表遥感场景知识图谱的实体集合与关系集合，h、r、t分别代表三元组的头实体、关系与尾实体，DistMult模型采用一个基于双线性模型的三元组得分函数来衡量同种关系连接的头尾实体对之间的语义相似度：

其中，M_r代表关系r所对应的变换矩阵，y_h,y_t分别代表头尾实体的语义表示向量；

基于上述知识图谱表示学习的土地覆盖概念语义表达方法的约束关系，对土地覆盖概念知识图谱整体进行表示向量映射，土地覆盖概念知识图谱中所有三元组G＝{h,r,t|h,t∈E,r∈R}经过学习后能够得到知识图谱中所有实体的语义表达向量集其中为遥感场景知识图谱中的实体总数，在Y_e中筛选出个遥感场景语义类别对应的实体语义向量，得到遥感场景语义类别特征向量集合即遥感场景语义基准。

4.根据权利要求1所述的一种知识图谱引导深度网络学习的遥感影像场景分类方法，其特征在于：步骤3中，采用开源模型efficientnet_b3网络作为深度网络，将该开源模型中位于Swish54的激活函数之前的所有卷积层视为浅层部分，并将其提取得到的浅层视觉特征进行引出，输入到知识引导模块与语义类别向量进行跨模态对齐，激活函数之后的模型结构即对应地视为深层部分。

5.根据权利要求1所述的一种知识图谱引导深度网络学习的遥感影像场景分类方法，其特征在于：步骤3引导优化中采用的总体损失函数包括深度网络浅层部分的知识嵌入损失和深度网络深层部分的数据学习损失其中数据学习损失采用常规的交叉熵损失函数，总体损失函数下式所示：

其中，ω为损失平衡权重，为了平衡上述两个不同的部分引导深度网络模型学习的效果。