[发明专利]基于自注意特征聚合网络的遥感图像语义分割方法及装置

权利要求书

1.基于自注意特征聚合网络的遥感图像语义分割方法，其特征在于，所述方法包括：

获取待分割遥感图像；

将所述待分割遥感图像输入至预先建立的自注意力多尺度特征聚合网络，获取所述预先建立的自注意力多尺度特征聚合网络输出的待分割遥感图像的初始预测结果；

将所述待分割遥感图像的初始预测结果上采样至所述待分割遥感图像的影像大小，获取所述待分割遥感图像的最终预测结果；

所述预先建立的自注意多尺度特征聚合网络的建立过程包括：

步骤1.对遥感图像数据集中的遥感图像进行人工语义标注，并将所述遥感图像数据集划分为训练集、验证集和测试集；

步骤2.对所述训练集进行数据增强；

步骤3.将所述训练集、验证集和测试集数据切片为513x513；

步骤4.利用所述训练集、验证集和测试集对预先建立的自注意多尺度特征聚合初始网络进行训练；

所述预先建立的自注意多尺度特征聚合初始网络包括：深层卷积神经网络、VGG神经网络、自注意模态校准模块、密集多尺度上下文聚合模块和自注意空间校准模块；

所述深层卷积神经网络，用于提取遥感图像中光学影像的特征；

所述VGG神经网络，用于提取遥感图像中数字表面模型数据的特征；

所述自注意模态校准模块，用于对所述光学影像的特征和数字表面模型数据的特征进行特征融合，获取多模态特征融合图；

所述密集多尺度上下文聚合模块，用于提取所述多模态特征融合图的多尺度融合特征图；

所述自注意空间校准模块，用于基于光学影像的特征、数字表面模型数据的特征和多尺度融合特征图获取初始预测结果；

所述密集多尺度上下文聚合模块包括：1x1卷积层、第一3x3卷积层、第二3x3卷积层、第三3x3卷积层和第二合并连接层；

所述1x1卷积层的输出端分别于所述第一3x3卷积层、第二3x3卷积层和第三3x3卷积层的输入端连接，所述第一3x3卷积层、第二3x3卷积层和第三3x3卷积层的输出端均连接所述第二合并连接层的输入端；

所述深层卷积神经网络为改进的Xception网络结构，其改进过程包括：将Xception网络结构中间流通组的重复结构减少到6组，去掉Xception网络结构最后的全连接层，将Xception网络结构中所有的最大池化层替换为步长为2的深度可分离卷积层，将Xception网络结构末端流通组最后三层深度可分卷积分别替换为带孔率为1,3,5的带孔卷积层；

所述VGG神经网络为改进的VGG16网络结构，其改进过程包括：

将VGG16网络结构所有卷积层替换为深度可分离卷积层，去掉VGG16网络结构最后的全连接层，将VGG16网络结构所有的最大池化层替换为步长为2的深度可分离卷积层，将VGG16网络结构最后三层深度可分卷积分别替换为带孔率为1,3,5的带孔卷积层。

2.如权利要求1所述的方法，其特征在于，所述自注意模态校准模块包括：依次连接的第一合并连接层、第一全局最大池化层、第一全连接层、第一Relu函数层、第二全连接层和第一Sigmoid函数层。

3.如权利要求1所述的方法，其特征在于，所述自注意空间校准模块包括：第三合并连接层、第二全局最大池化层、第三全连接层、第二Relu函数层、第四全连接层和第二Sigmoid函数层。

4.如权利要求1所述的方法，其特征在于，所述步骤2包括：

对所述训练集依次按照概率0.5进行水平和垂直方向的随机翻转，角度-20度到20度，步距1度的图像随机旋转操作，90度、180度、270度的固定角度随机旋转操作，以及图像尺寸0.25到4倍随机缩放操作。

5.基于所述权利要求1-4任一项所述的基于自注意特征聚合网络的遥感图像语义分割方法的装置，其特征在于，所述装置包括：

获取模块，用于获取待分割遥感图像；

分割模块，用于将所述待分割遥感图像输入至预先建立的自注意力多尺度特征聚合网络，获取所述预先建立的自注意力多尺度特征聚合网络输出的待分割遥感图像的初始预测结果；

调节模块，用于将所述待分割遥感图像的初始预测结果上采样至所述待分割遥感图像的影像大小，获取所述待分割遥感图像的最终预测结果；

所述预先建立的自注意多尺度特征聚合网络的建立过程包括：

步骤1.对遥感图像数据集中的遥感图像进行人工语义标注，并将所述遥感图像数据集划分为训练集、验证集和测试集；

步骤2.对所述训练集进行数据增强；

步骤3.将所述训练集、验证集和测试集数据切片为513x513；

步骤4.利用所述训练集、验证集和测试集对预先建立的自注意多尺度特征聚合初始网络进行训练；

所述预先建立的自注意多尺度特征聚合初始网络包括：深层卷积神经网络、VGG神经网络、自注意模态校准模块、密集多尺度上下文聚合模块和自注意空间校准模块；

所述深层卷积神经网络，用于提取遥感图像中光学影像的特征；

所述VGG神经网络，用于提取遥感图像中数字表面模型数据的特征；

所述自注意模态校准模块，用于对所述光学影像的特征和数字表面模型数据的特征进行特征融合，获取多模态特征融合图；

所述密集多尺度上下文聚合模块，用于提取所述多模态特征融合图的多尺度融合特征图；

所述自注意空间校准模块，用于基于光学影像的特征、数字表面模型数据的特征和多尺度融合特征图获取初始预测结果；

所述密集多尺度上下文聚合模块包括：1x1卷积层、第一3x3卷积层、第二3x3卷积层、第三3x3卷积层和第二合并连接层；

所述1x1卷积层的输出端分别于所述第一3x3卷积层、第二3x3卷积层和第三3x3卷积层的输入端连接，所述第一3x3卷积层、第二3x3卷积层和第三3x3卷积层的输出端均连接所述第二合并连接层的输入端。