[发明专利]基于自注意特征聚合网络的遥感图像语义分割方法及装置

说明书

本发明涉及基于自注意特征聚合网络的遥感图像语义分割方法及装置，包括：获取待分割遥感图像；将所述待分割遥感图像输入至预先建立的自注意力多尺度特征聚合网络，获取所述预先建立的自注意力多尺度特征聚合网络输出的待分割遥感图像的初始预测结果；将所述待分割遥感图像的初始预测结果上采样至所述待分割遥感图像的影像大小，获取所述待分割遥感图像的最终预测结果；本发明提供的技术方案能够有效增强模态特征和空间信息的关联，提高对多尺度目标向下文信息感知能力，获得更加精细的语义标注结果。

技术领域

本发明涉及遥感图像处理技术领域，具体涉及基于自注意特征聚合网络的遥感图像语义分割方法及装置。

背景技术

近年来随着深度学习技术在图像处理领域中逐步深入的研究，基于深度学习特别是全卷积神经网络的图像处理方法在遥感领域发展迅速。在遥感场景下的图像处理中，语义分割能够获取目标像素级别的类别标注信息，在土地规划、战时侦查、环境监测等领域有广阔的应用前景。然而基于深度学习的语义分割方法是数据驱动的方法，需要大量准确标注的数据。传统人工标注的方式成本高昂，效率低下，因此提高数据标注效率和精度尤为重要。

现有的语义标注方法对遥感场景中复杂背景引入的噪声敏感，对多尺度地物要素的语义感知能力差。通常使用带孔卷积来提升卷积神经网络的特征感受野，然而目前多尺度带孔结构包含感受野大小和种类有限，仍然无法标注高分辨率遥感场景中复杂的地物要素，难以在多尺度要素造成大类间差异的情况下进行语义信息的获取。

提升遥感场景中语义标注的另一思路是利用多种模态数据丰富的特征。然而现有方法通常直接对多模态图像或特征直接进行合并或相加，其特征学习完全依赖卷积神经网络的性能，忽略了不同模态固有的数据结构、特征复杂程度的差异，容易引入冗余的特征，造成标注性能降低，网络规模和参数量冗余。

发明内容

针对现有技术的不足，本发明的目的是提供一种能够有效增强模态特征和空间信息的关联，提高对多尺度目标向下文信息感知能力，获得更加精细的语义标注结果的遥感图像语义分割方法及装置。

本发明的目的是采用下述技术方案实现的：

基于自注意特征聚合网络的遥感图像语义分割方法，其改进之处在于，所述方法包括：

获取待分割遥感图像；

将所述待分割遥感图像输入至预先建立的自注意力多尺度特征聚合网络，获取所述预先建立的自注意力多尺度特征聚合网络输出的待分割遥感图像的初始预测结果；

将所述待分割遥感图像的初始预测结果上采样至所述待分割遥感图像的影像大小，获取所述待分割遥感图像的最终预测结果。

优选的，所述预先建立的自注意多尺度特征聚合网络的建立过程包括：

步骤1.对遥感图像数据集中的遥感图像进行人工语义标注，并将所述遥感图像数据集划分为训练集、验证集和测试集；

步骤2.对所述训练集进行数据增强；

步骤3.将所述训练集、验证集和测试集数据切片为513x513；

步骤4.利用所述训练集、验证集和测试集对预先建立的自注意多尺度特征聚合初始网络进行训练。

进一步的，所述预先建立的自注意多尺度特征聚合初始网络包括：深层卷积神经网络、VGG神经网络、自注意模态校准模块、密集多尺度上下文聚合模块和自注意空间校准模块；

所述深层卷积神经网络，用于提取遥感图像中光学影像的特征；

所述VGG神经网络，用于提取遥感图像中数字表面模型数据的特征；

所述自注意模态校准模块，用于对所述光学影像的特征和数字表面模型数据的特征进行特征融合，获取多模态特征融合图；