[发明专利]一种知识图谱引导深度网络学习的遥感影像场景分类方法和系统

说明书

本发明公开了一种知识图谱引导深度网络学习的遥感影像场景分类方法和系统。首先构建土地覆盖概念知识图谱，然后通过知识图谱表示学习方法将土地覆盖概念知识图谱中的遥感场景语义类别表达为语义向量，形成遥感场景类别的语义基准。在知识图谱引导深度网络训练阶段，通过施加遥感场景类别语义向量与深度网络浅层视觉特征向量的跨模态对齐约束引导深度网络的浅层部分更有效的学习不同类别遥感影像场景的共享特征，在深度网络深层部分则仍然通过场景类别标签约束来引导深度网络学习区分不同遥感场景的判别特征。在测试阶段，完成优化的深度网络模型可以在不依赖任何先验知识的情况下完成高精度遥感影像场景分类。

技术领域

本发明属于人工智能、知识图谱与遥感影像解译的交叉领域，涉及一种知识图谱引导深度网络学习的遥感影像场景分类方法，具体包含一种通过施加知识图谱得到的遥感场景语义向量与深度网络浅层视觉特征向量的跨模态对齐约束来引导深度网络的浅层部分更有效的学习不同类别遥感影像场景的共享特征，整体上提升深度网络进行遥感影像场景分类的性能表现。

背景技术

伴随着卫星遥感技术的快速发展，观测地球的手段和能力得到了革命性的突破，人类能够借助卫星遥感技术高效获取包括区域尺度、全球尺度等在内的海量高分辨率遥感影像观测数据，遥感大数据时代已经到来。对于海量高分辨率遥感影像数据而言，借助计算机技术将其由单纯的观测数据解译为能够为人类进行服务的遥感地学知识，是目前遥感领域内重要的研究内容。

但是，由于高分辨率遥感影像存在典型的“同物异谱，同谱异物”现象，传统基于像素与基于对象的遥感影像地物分类方法存在着较大的局限性，无法有效满足对高分辨率遥感影像的解译能力与应用需求，因此遥感影像场景分类任务更多地受到国内外遥感领域研究者的关注。具体而言，遥感影像场景分类的目标是通过对遥感影像中基本视觉元素与基本视觉元素间关系进行挖掘，从而对遥感影像块内的地物场景语义类别进行预测，以此来有效降低对地物进行像素级或者对象级解译时可能会产生的混淆情况，使得高分辨率遥感影像解译结果更加稳定及准确。因此，遥感影像场景分类是理解高分辨率遥感影像的重要手段之一，并且在交通控制、灾害监测和土地覆盖分类等任务中起着至关重要的作用。

传统的遥感影像场景分类方法大多基于人工构造的特征来对遥感影像场景进行分类，例如早期遥感影像场景分类方法会采用颜色、纹理以及边缘等信息来构建低层次视觉特征，或者进一步将低层次视觉特征进行复合构成中层次视觉特征以后，将其作用于进行遥感影像场景分类。但是采用这些简单视觉信息构造得到的中低层次视觉特征往往难以表达高分辨率遥感影像块的全局信息，且人工构造视觉特征时完全依赖先验知识，难以应对目前包含了复杂地物分布的大量高分辨率遥感影像。

近年来随着深度学习技术的发展，深度神经网络这种基于数据驱动的方法在自然图像处理的相关任务中展现出了优越的性能，因此被逐步应用于与遥感影像相关的解译任务中，取得了优异的结果。但是，基于数据驱动的深度学习方法存在另一个方面的问题：虽然深度网络通过在训练样本上的训练能够捕捉到更多、更高层次的对遥感影像场景分类任务有益的视觉特征，但其几乎无法对遥感领域中相关的先验知识进行充分有效地利用。因此。这种缺陷使得深度网络在面对训练样本不充分的情况时极易对训练样本过拟合，从而很大程度上制约了遥感影像场景分类模型的泛化能力，限制了模型的精度表现。因此，需要通过遥感领域先验知识引导深度网络，改良现有基于深度网络的遥感影像场景分类方法，取得更好的遥感影像场景分类结果。

发明内容

本发明主要是解决现有基于深度网络的遥感影像场景分类方法高度依赖大量人工标记的训练样本且无法有效融合利用遥感领域丰富的先验知识，提出了一种新的知识图谱引导深度网络学习的遥感影像场景分类方法。通过构建土地覆盖概念知识图谱与土地覆盖语义表达得到的遥感场景语义基准来引导基于深度网络的遥感影像场景方法，提升遥感影像场景分类性能的同时，降低模型对于人工标注训练样本的依赖。