[发明专利]基于多模态特征融合的双时相遥感影像语义变化检测方法

权利要求书

1.一种基于多模态特征融合的双时相遥感影像语义变化检测方法，其特征在于，包括如下步骤：

步骤1，对多时相遥感影像变化检测数据集进行预处理，数据集包括训练集、验证集和测试集；

步骤2， 构建基于多模态特征融合的双时相遥感影像语义变化检测模型，使用步骤1中得到的训练集和验证集分别对变化检测模型进行训练和验证，输出训练后的模型；

步骤2的具体实现方式如下，

步骤2.1，构建一个原始影像高维特征提取网络Encoder，该网络由ResNet系列网络的五个阶段组成，将两个不同时相的影像分别输入该网络中，每张原始影像获得四组高维特征，分别来自第二、三、四、五层提取出的特征，记作M_{ti_j}，其中，i=1,2; j=2,3,4,5；

步骤2.2，将步骤2.1中提取出的每一层的两个时相的特征图对应位置像素值相减，并对第三、四、五层相减后的特征分别进行2、4、8倍上采样，将第二层的特征与上采样后的特征融合起来得到T1时相特征图和T2时相特征图变化区域的二值图，即二分类变化图；

步骤2.3，构建变化区域以及类别检测网络Decoder，Decoder结构由多组CSA、GA和FM模块交替组成，其中CSA模块采用CBAM对高层特征进行降维，减少计算量并加强特征表达能力，由通道注意力和空间注意力组成；GA模块用于提取全局信息捕获全局上下文特征，由最大池化和平均池化组成；FM模块主要负责融合底层特征、高层特征以及全局特征，由多重卷积和上采样组成；

步骤2.4，针对步骤2.1中获得两个不同时相的四组高维特征，将第五层特征输入步骤2.3中的GA模块和CSA模块，与第四层特征一起输入FM模块，得到融合后的第四、五层特征；将融合后的第四、五层特征输入到CSA模块，和经过GA模块后的第五层特征，以及第三层特征一起输入FM模块，得到融合后的第三、四、五层特征；将融合后的第三、四、五层特征输入到CSA模块，和经过GA模块后的第五层特征，以及第二层特征一起输入FM模块，得到融合后的第二、三、四、五层特征，最后分别得到T1和T2时相的特征图；

步骤2.5，将步骤2.4中得到的T1和T2时相的特征图进行拼接，然后输入ASPP模块，扩大感受野，分别预测T1和T2时相的多分类结果，得到掩膜影像，即多分类变化图；

步骤2.6，计算步骤2.5中预测得到的掩膜影像与人工标记得到的掩膜影像之间的损失，根据损失对梯度进行反向传播更新卷积神经网络的权重，重复该过程直到模型收敛，输出最终得到的收敛模型；

步骤3，使用步骤2得到的模型对步骤1中的训练集进行数据清除；

步骤4，利用步骤3得到的训练集重新训练步骤2中的变化检测模型，得到最终的模型；再将步骤1中的测试集输入到模型中，通过一次前馈过程得到对应测试集的网络预测结果；

步骤5，对步骤4得到的预测结果进行后处理，包括：采用步骤4中重新训练模型得到的二分类变化图与多分类变化图相乘，去除一部分误检区域，得到最终的变化区域及其类别的预测结果。

2.根据权利要求1所述的一种基于多模态特征融合的双时相遥感影像语义变化检测方法，其特征在于：所述预处理包括，对训练集使用随机放大裁剪、随机旋转以及随机垂直翻转的方式对数据进行数据增强，扩大数据集，并且还将T1、T2时相的影像进行对调，来进一步提高数据量，增强网络泛化能力。

3.根据权利要求1所述的一种基于多模态特征融合的双时相遥感影像语义变化检测方法，其特征在于：步骤3进一步包括：

使用步骤2输出的模型对步骤1中的训练集进行预测，通过预测影像与标签的mIOU分数作为评价指标，对mIOU分数小于一定阈值的影像进行人工判读，将在标签数据上双时相前后标签相反的数据替换过来，将出现A-A变化标记为A-B、A-A变化标记为B-C、A-B变化标记为未变化以及A-B变化标记为A-C的数据从训练集中剔除。