[发明专利]基于多尺度CAM和超像素的遥感图像弱监督建筑提取方法

权利要求书

1.一种基于多尺度CAM和超像素的遥感图像弱监督建筑提取方法，其特征在于：包括两个连续阶段：通过图像级标签获取类激活映射CAM，并用CAM训练建筑物提取模型；在第一阶段，首先训练一个基于图像级标签的分类网络，然后使用训练好的分类网络生成CAM，并进一步改进CAM；在第二阶段，将改进后的CAM制成伪标签用以训练分割模型；

分类网络包括多尺度生成模块和超像素细化模块；多尺度生成模块的目的是充分利用多尺度特征以生成高质量的多尺度CAM；超像素细化模块利用超像素的特性来进一步提升多尺度CAM的质量；最后，利用改进的CAM训练建筑物提取模型；为了获得更好的建筑提取结果，采用可靠标签选择策略，在CAM中选择高置信区域进行训练，忽略不确定区域；

为了消除特征中类别无关的噪声，并且避免高级语义信息的过度使用，多尺度生成模块将特定类别的语义信息编码到多层次特征中，然后分别利用多层次特征生成多尺度CAM；

多尺度生成模块由多个CAM生成单元组成，多个CAM生成单元对应多层次特征，每个CAM生成单元包含一个1×1卷积层，一个ReLU层和一个批正则化层，以及一个通用的分类层，使用1×1卷积核将输入的特征图映射到更有利于图像分类的特征表达中；随后，将过滤后的特征输入到通用的分类层中，通用分类层包含一个全局池化层和一个全连接层；最后，CAM生成单元的输出是一个向量，其表示每个类别的预测得分。

2.根据权利要求1所述的基于多尺度CAM和超像素的遥感图像弱监督建筑提取方法，其特征在于：在训练阶段，利用CAM生成单元的输出向量来计算分类损失，降低分类损失会促使特征理解全局语义，从而消除特征中类别无关的噪声；随后，在推理阶段，利用消除类别无关噪声后的多层次特征生成CAM；每个类别的CAM是由一组选定的特征图和相应的权重计算获得的；采用Grad-CAM++技术从每个CAM生成单元分别计算多个CAM；对于每个CAMGeneration单元，将梯度从该单元的输出反向传播到相应特征层的最后一个卷积层，从而计算出CAM；最后，将多层次特征计算得到的CAM融合为多尺度CAM。

3.根据权利要求1所述的基于多尺度CAM和超像素的遥感图像弱监督建筑提取方法，其特征在于：采用ResNet-50作为基本架构，并从ResNet-50的阶段1-4中选取多层次特征；相应地，多尺度生成模块由4个CAM生成单元组成，分别添加在ResNet-50的上述阶段的后面；总共计算四个损失，而总体损失是这些损失的总和；通过多尺度生成模块和整体损失的训练，可以获得消除类别无关噪声后的多层次特征，并利用它们生成多尺度CAM；通过以上步骤，计算出了四种尺度的CAM；来自底层特征的CAM获取更详细的信息，而高层特征计算得到的CAM识别粗略的建筑物区域；最后，采用融合策略，根据公式将多尺度CAM进行融合，其中表示不同尺度的CAM；合并后的CAM中，非建筑物区域被抑制，而建筑物区域被突出显示。

4.根据权利要求1所述的基于多尺度CAM和超像素的遥感图像弱监督建筑提取方法，其特征在于：第二阶段包括如下步骤：首先，我们将CAM做成伪像素级标签；然后，我们基于伪标签来训练建筑物分割模型；在训练阶段忽略不确定类别的像素集；对损失函数进行优化，最小化真实值与模型的预测值的差异，从而使模型能够对建筑物像素和非建筑物像素进行分类，识别出伪标签中不确定类别像素是否属于建筑类。