[发明专利]基于多模态端到端网络的遥感数据精细化分类方法及装置

说明书

本发明涉及基于多模态端到端网络的遥感数据精细化分类方法及装置，包括：获取切片对应的不同尺寸缩放图；将切片对应的不同尺寸缩放图分别输入至预先建立的地物要素分类模型，获取预先建立的地物要素分类模型输出的切片对应的不同尺寸缩放图的分类结果；将切片对应的不同尺寸缩放图的分类结果均缩放至预设尺寸并求均值，获取切片的分类结果；将各切片的分类结果进行拼接，获取遥感数据的地物要素分类结果；本发明提供的技术方案，主要致力于设计一种通用的端到端多源数据地物要素分类方法，其中预先建立的地物要素分类模型可以有效获取深度特征弥补光学特征的不足，提升阴影覆盖区域和光学特征相似区域的地物要素分类性能。

技术领域

本发明涉及遥感图像解译领域，具体涉及基于多模态端到端网络的遥感数据精细化分类方法及装置。

背景技术

遥感场景地物要素分类是遥感影像解译中重要的环节，旨在为遥感影像中每个像素点分配一个类别标签，最终形成各个分割区域互不相交的密集地物要素分类图。相比于图像级分类和目标及检测任务，地物要素分类任务能够在像素级别对遥感影像进行理解，获取除了类别、位置以外更精细的目标信息，并在环境治理、气象监测、土地规划、军事侦测、城市管理和灾害防治等诸多领域中发挥着重要的作用。随着深度学习在自然图像场景中的研究不断取得突破成就，特别是以全卷积神经网络为代表的卷积神经网络方法取得了卓越的效果，地物要素分类技术取得了长足的进步，越来越多的工作致力于进一步提升地物要素分类效果。

仅依赖可见光影像进行地物要素分类，分类结果会受到光照条件的干扰。因此，需要引入多源数据弥补光学特征的不足。现有的方法主要有以下几种：1)输入融合，在输入端直接融合多源数据；2)特征融合，在模型中间环节融合多源特征图3)集成学习，融合多个网络分类结果4)后处理融合，以后处理的方式融合多源数据特征。上述方法都存在各自的局限，方法1)简单粗暴的融合方式容易造成分类性能下降；方法2)通常利用相同特征学习模块学习不同数据，未考虑多源数据差异，造成网络参数冗余；方法3)利用多个模型，规模庞大，训练缓慢；方法4)是一种非端到端的训练方式，训练复杂，难以保证获得最优解。

此外，已有方法通常直接将自然场景地物要素分类方法移植到遥感场景，忽略了遥感场景和自然场景的差异，多尺度语义信息的提取和空间信息细节细化均不能满足遥感场景影像大图幅，背景复杂，目标尺度多等图像特性。

发明内容

针对现有技术的不足，本发明的目的是致力于设计一种通用的端到端多源数据地物要素分类方法，其中预先建立的地物要素分类模型可以有效获取深度特征弥补光学特征的不足，提升阴影覆盖区域和光学特征相似区域的地物要素分类性能。

本发明的目的是采用下述技术方案实现的：

本发明提供了基于多模态端到端网络的遥感数据精细化分类方法，其改进之处在于，所述方法包括：

对遥感数据进行滑动窗切片，并对切片进行不同尺寸的缩放，获取切片对应的不同尺寸缩放图；

将切片对应的不同尺寸缩放图分别输入至预先建立的地物要素分类模型，获取预先建立的地物要素分类模型输出的切片对应的不同尺寸缩放图的分类结果；

将切片对应的不同尺寸缩放图的分类结果均缩放至预设尺寸并求均值，获取切片的分类结果；

将各切片的分类结果进行拼接，获取遥感数据的地物要素分类结果。

优选的，所述对遥感数据进行滑动窗切片的过程中包括：滑动窗重叠的像素为切片尺寸的0.5倍，切片尺寸为513×513像素。

优选的，所述不同尺寸包括：256×256、513×513和769×769，所述预设尺寸为513×513。

优选的，所述预先建立的地物要素分类模型的建立过程包括：