[发明专利]基于多模态端到端网络的遥感数据精细化分类方法及装置

权利要求书

1.基于多模态端到端网络的遥感数据精细化分类方法，其特征在于，所述方法包括：

对遥感数据进行滑动窗切片，并对切片进行不同尺寸的缩放，获取切片对应的不同尺寸缩放图；

将切片对应的不同尺寸缩放图分别输入至预先建立的地物要素分类模型，获取预先建立的地物要素分类模型输出的切片对应的不同尺寸缩放图的分类结果；

将切片对应的不同尺寸缩放图的分类结果均缩放至预设尺寸并求均值，获取切片的分类结果；

将各切片的分类结果进行拼接，获取遥感数据的地物要素分类结果；

所述预先建立的地物要素分类模型的建立过程包括：

步骤1.将遥感数据集中包含红绿蓝三个图像通道的可见光数据和同一场景下的单通道DSM数据进行合并，并将合并后的四通道数据划分为训练集、验证集和测试集；

步骤2.对所述训练集和验证集进行精细化像素级人工标注；

步骤3.对训练集数据进行数据增强处理；

步骤4.将训练集数据载入网络并进行随机滑动切片，切片大小为513×513像素；

步骤5.将训练集数据中的可见光数据输入至光学特征学习模块，提取可见光特征，将DSM数据输入至深度特征学习模块，提取DSM特征；

步骤6.将所述可见光特征和DSM特征输入多尺度语义融合模块得到多尺度融合特征；

步骤7.获取所述光学特征学习模块中各阶段的输出特征，并基于所述各阶段的输出特征与所述多尺度融合特征进行多阶跳连空间细化处理，获得两个特征预测图；

步骤8.使用多路融合目标函数分别对所述两个特征预测图以及其对应人工标注图进行评估，其中，所述多路融合目标函数为两个交叉熵损失函数的加权和，权重分别为1和0.5；

步骤9.采用BP反向传播算法对步骤5-7组成的网络模型进行训练，其中，利用随机梯度下降优化算法不断更新步骤5-7组成的网络模型的参数；

步骤10.重复步骤4-9的过程，训练100轮，每5轮利用验证集验证一次步骤5-7组成的网络模型的精度，选取精度最高的模型作为所述预先建立的地物要素分类模型。

2.如权利要求1所述的方法，其特征在于，所述对遥感数据进行滑动窗切片的过程中包括：滑动窗重叠的像素为切片尺寸的0.5倍，切片尺寸为513×513像素。

3.如权利要求1所述的方法，其特征在于，所述不同尺寸包括：256×256、513×513和769×769，所述预设尺寸为513×513。

4.如权利要求1所述的方法，其特征在于，所述步骤3包括：对训练集数据依次按照概率0.5进行水平和垂直方向的随机翻转，角度-20度到20度，步距1度的图像随机旋转操作，90度、180度、270度的固定角度随机旋转操作，以及图像尺寸0.25到4倍随机缩放操作。

5.如权利要求1所述的方法，其特征在于，所述光学特征学习模块由Resnet101网络中4个的特征提取阶段的结构组成，其中，最后一个特征提取阶段的结构中最后两层网络的带孔率分别为3和5，最后一个特征提取阶段的结构最后增加一个积核大小为1×1，通道数为2048，步长为1的卷积层；

所述深度特征学习模块由9层卷积层组成，其中，前8层为特征提取层，均包含对应卷积、Relu激活和BN层，前8层可分为四组，每组两个3×3卷积层通道数目分别为64,128,256,512，每组第一个卷积层步长设为1，第二个卷积层步长设为2，最后一层为通道级适配层，包含一个卷积核大小为1×1，通道数为2048，步长为1的卷积层。