[发明专利]一种基于多模态遥感图像细粒度弱特征目标涌现检测方法

权利要求书

1.一种基于多模态遥感图像细粒度弱特征目标涌现检测方法，其特征是，包括以下步骤：

(1)将标注好的多模态遥感检测数据集划分为训练集和测试集，并对训练集和测试集进行预处理；

(2)利用加入了三维卷积模块的深度卷积神经网络实现对多模态数据的通道优选及高级语义信息提取，并在此基础上构建多层次特征金字塔；

(3)利用原始标注信息构建语义真值图，构建语义引导模块，将预测得到的语义信息与真实标注信息进行对比，对原始特征图进行类注意力机制的引导、达到降低虚警率的目的；

(4)使用单阶段的检测头，在修正后的特征图上进行目标类别与位置信息的预测，然后进行位置信息的解码，得到最终结果。

2.根据权利要求1所述的一种基于多模态遥感图像细粒度弱特征目标涌现检测方法，其特征是，所述步骤(1)中训练集和测试集进行预处理涉及的卷积操作的步长均为1。

3.根据权利要求1所述的一种基于多模态遥感图像细粒度弱特征目标涌现检测方法，其特征是，所述步骤(2)中使用的深度卷积神经网络包括4个阶段；

阶段1包含两个瓶颈结构：

第一个瓶颈结构的主干部分包含三个卷积层，分别使用大小为1*1、3*3、1*1的卷积核，卷积步长均为1，输出特征图的通道数依次为64、64、256，激活函数均为Relu函数；第一个瓶颈结构的旁支部分包含一个卷积核大小为1*1、卷积步长为1、输出特征图通道数为256、激活函数为relu函数的卷积层；主干部分与旁支部分输出的张量按对应位置相加后输入到第二个瓶颈结构中；

第二个瓶颈结构的主干部分与第一个瓶颈结构相同，旁支部分不进行任何卷积操作；第二个瓶颈结构的输出经过一次三维卷积操作后，阶段1的所有处理操作完成；

阶段2包含四个瓶颈结构：

第一个瓶颈结构的主干部分包含三个卷积层，分别使用大小为1*1、3*3、1*1的卷积核，卷积步长依次为1、2、1，输出特征图的通道数依次为128、128、512，激活函数均为Relu函数；第一个瓶颈结构的旁支部分包含一个卷积核大小为1*1、卷积步长为2、输出特征图通道数为512、激活函数为relu函数的卷积层；主干部分与旁支部分输出的张量按对应位置相加后输入到第二个瓶颈结构中；

后续三个瓶颈结构的主干部分与第一个瓶颈结构基本相同，但卷积步长均为1，旁支部分不进行任何卷积操作；第四个瓶颈结构的输出经过一次三维卷积操作后，阶段2的所有处理操作完成；

阶段3包含六个瓶颈结构：

第一个瓶颈结构的主干部分包含三个卷积层，分别使用大小为1*1、3*3、1*1的卷积核，卷积步长依次为1、2、1，输出特征图的通道数依次为256、256、1024，激活函数均为Relu函数；第一个瓶颈结构的旁支部分包含一个卷积核大小为1*1、卷积步长为2、输出特征图通道数为1024、激活函数为relu函数的卷积层；主干部分与旁支部分输出的张量按对应位置相加后输入到第二个瓶颈结构中；

后续五个瓶颈结构的主干部分与第一个瓶颈结构基本相同，但卷积步长均为1，旁支部分不进行任何卷积操作；第六个瓶颈结构的输出经过一次三维卷积操作后，阶段3的所有处理操作完成；

阶段4包含三个瓶颈结构：

第一个瓶颈结构的主干部分包含三个卷积层，分别使用大小为1*1、3*3、1*1的卷积核，卷积步长依次为1、2、1，输出特征图的通道数依次为512、512、2048，激活函数均为Relu函数；第一个瓶颈结构的旁支部分包含一个卷积核大小为1*1、卷积步长为2、输出特征图通道数为2048、激活函数为relu函数的卷积层；主干部分与旁支部分输出的张量按对应位置相加后输入到第二个瓶颈结构中；

后续两个瓶颈结构的主干部分与第一个瓶颈结构基本相同，但卷积步长均为1，旁支部分不进行任何卷积操作；第三个瓶颈结构的输出经过一次三维卷积操作后，阶段4的所有处理操作完成；

所述特征金字塔包含最上层、中间层和底层三个层次：尺寸最小的最上层是通过对上述阶段4的输出进行一次卷积后得到的；将特征金字塔的最上层上采样到和上述阶段3的输出同样的尺寸，将最上层上采样后的结果与上述阶段3的输出在通道维拼接到一起后再经过一次卷积得到特征金字塔的中间层；将中间层上采样到与上述阶段2输出的尺寸后与上述阶段2的输出在通道维进行拼接，再经过一次卷积后得到特征金字塔的底层。