[发明专利]一种基于多模态注意与自适应融合的遥感图像语义分割方法

权利要求书

1.一种基于多模态注意与自适应融合的遥感图像语义分割方法，其特征在于：包括如下步骤：

(1)构建双流语义分割网络，包括如下步骤：

(11)构建双流语义分割网络的特征提取器；

(12)引入多层特征自适应融合；

(13)构建双流语义分割的解码器，并引入多模态注意力机制，形成双流语义分割网络；

(2)构建数据集并进行双流语义分割网络训练，包括如下步骤：

(21)构建数据集；

(22)对数据集进行数据预处理；

(23)进行双流语义分割网络训练；

(3)运行双流语义分割网络。

2.根据权利要求1所述的基于多模态注意与自适应融合的遥感图像语义分割方法，其特征在于：所述步骤(11)，具体包括如下：

(111)删除卷积神经网络结构中的全连接层，形成一个通过卷积将输入张量转化成小尺度张量的编码器，采用该编码器对输入的RGB图进行编码，将对RGB图进行编码的编码器称为RGB图通道；

(112)复制一个与步骤(111)相同的编码器，采用该编码器对深度图进行编码，将对深度图进行编码的编码器称为深度图通道。

3.根据权利要求1所述的基于多模态注意与自适应融合的遥感图像语义分割方法，其特征在于：所述步骤(12)，具体包括如下：

(121)计算深度图通道与RGB图通道中经过第一步池化卷积的特征D₁与F₁；

(122)定义自适应融合矩阵A_n1和A_n2，其中n＝1,2,3,4,5，A_n1+A_n2＝1，初始化A_n1＝A_n2＝0.5；

(123)进行第一次特征自适应融合R₁＝A₁₁×D₁+A₁₂×F₁；

(124)计算深度图通道与RGB图通道中经过第二步池化卷积的特征D₂与F₂，其中，D₂是由D₁经过池化卷积得到，F₂是由R₁经过池化卷积得到；根据梯度下降法更新A_n1和A_n2，并使用归一化函数softmax(·)优化更新后的A_n1和A_n2；

(125)进行第二次特征自适应融合R₂＝A₂₁×D₂+A₂₂×F₂；

(126)计算深度图通道与RGB图通道中经过第三步池化卷积的特征D₃与F₃，其中，D₃是由D₂经过池化卷积得到，F₃是由R₂经过池化卷积得到；根据梯度下降法更新A_n1和A_n2，并使用归一化函数softmax(·)优化更新后的A_n1和A_n2；

(127)进行第三次特征自适应融合R₃＝A₃₁×D₃+A₃₂×F₃；

(128)计算深度图通道与RGB图通道中经过第四步池化卷积的特征D₄与F₄，其中，D₄是由D₃经过池化卷积得到，F₄是由R₃经过池化卷积得到；根据梯度下降法更新A_n1和A_n2，并使用归一化函数softmax(·)优化更新后的A_n1和A_n2；

(129)进行第四次特征自适应融合R₄＝A₄₁×D₄+A₄₂×F₄；

(1210)计算深度图通道与RGB图通道中经过第五步池化卷积的特征D₅与F₅，其中，D₅是由D₄经过池化卷积得到，F₅是由R₄经过池化卷积得到；根据梯度下降法更新A_n1和A_n2，并使用归一化函数softmax(·)优化更新后的A_n1和A_n2；

(1211)进行第五次特征自适应融合R₅＝A₅₁×D₅+A₅₂×F₅。