[发明专利]一种基于多尺度注意力融合的遥感图像语义分割方法

权利要求书

1.一种基于多尺度注意力融合的遥感图像语义分割方法，其特征在于，包括以下步骤：

1)裁剪数据集；

2)将裁剪后的IRRG图像和裁剪后的DSM图像输入至多模态融合模块获得每一阶段的多模态融合特征F₀、F₁、F₂和F₃；并在多模态融合模块中引入基于通道注意力的模块进行提取、重组和融合特征，并分配权重资源；

3)利用多尺度空间上下文增强模块整合并改进多模态融合特征F₃后进行一次上采样；

4)利用残差跳跃连接策略优化编码端的多模态融合特征F₀、F₁和F₂，并与解码端对应尺度的特征进行融合再连续上采样输出分割图；

5)按照原图大小拼接分割图，即完成遥感图像语义分割。

2.根据权利要求1所述的一种基于多尺度注意力融合的遥感图像语义分割方法，其特征在于，所述步骤1)中利用滑窗裁剪IRRG图像、DSM图像及其对应的标签图，裁剪后的图像尺寸为256×256。

3.根据权利要求1所述的一种基于多尺度注意力融合的遥感图像语义分割方法，其特征在于，所述多模态融合模块包括光学分支、深度分支和编码融合分支，每个光学分支和深度分支在每个模块阶段提供一组特征映射，编码融合分支在下采样之前将来自光学分支和深度分支的融合作为输入，处理融合后的数据。

4.据权利要求3所述的一种基于多尺度注意力融合的遥感图像语义分割方法，其特征在于，所述多模态融合模块实现方式包括：

1)将IRRG图像的特征I₀和DSM图像特征D₀分别输入到两个在ImageNet上预先训练的ResNet50，并将I₀和D₀的融合特征M₀输入到第三个在ImageNet上预先训练的ResNet50，初始阶段模型MFM-0为：其中表示像素级别的相加，表示基于通道注意力的模块；

2)将第一阶段三个分支输出的特征图作为第二阶段的输入，融合后的输出细节MFM-1为：

3)将第二阶段三个分支输出的特征图作为第三阶段的输入，融合后的输出细节MFM-2为：

4)第三阶段三个分支输出的特征图作为第四阶段的输入，融合后的输出细节MFM-3为：

5.据权利要求4所述的一种基于多尺度注意力融合的遥感图像语义分割方法，其特征在于，所述基于通道注意力的模块实现方式包括：

1)将输入的特征图A＝[a₁，a₂，...，a_c]看作是通道a_i∈R^H×W的组合，进行全局平均池化后得到矢量G∈R^1×1×C和k^th元素，模型为：将全局信息整合到向量G中；

2)将向量G转换为其中，O₁∈R^1×1×C/2，O₂∈R^1×1×C，表示两个全连接的卷积层，在O₁之后还添加了Activation激活函数，通过Sigmoid函数σ(·)进一步将激活，将其约束在[0，1]；

3)将A和进行外积得到模型为

6.根据权利要求1所述的一种基于多尺度注意力融合的遥感图像语义分割方法，其特征在于，所述多尺度空间上下文增强模块包括ASPP模块和non-local模块，F表示经过多尺度空间上下文增强模块处理的特征图，模型为F＝nl(ASPP(F₃))。