[发明专利]一种基于多尺度语义特征融合的遥感图像目标检测方法

权利要求书

1.一种基于多尺度语义特征融合的遥感图像目标检测方法，其特征在于，包括以下步骤：

步骤1、使用卷积神经网络提取遥感图像的特征图，根据特征图的不同尺度大小，构建出特征金字塔；

步骤2、通过对特征金字塔网络中多层特征的融合，输出整张图像的掩码图和语义特征图；

步骤3、利用候选区域网络，从掩码加权过的特征金字塔中提取出不同尺度对应的候选区域框；

步骤4、根据得到的候选区域框，在特征金字塔网络、全图的语义特征图和原始输入图像上获得候选区域框的局部特征，并对这些多层次的局部区域特征进行融合操作，得到更加鲁棒的区域特征；

步骤5、在感兴趣区域网络中，根据融合的区域特征进行各个候选区域的边界框偏移量回归和分类预测。

2.根据权利要求1所述的基于多尺度语义特征融合的遥感图像目标检测方法，其特征在于：所述步骤1中，首先选用ResNet-101网络对输入遥感图像进行特征提取，得到一系列特征图，然后根据尺寸大小将卷积过程分为4个不同的阶段，每个阶段的尺寸大小相同，接着使用横向连接和自顶向下的连接将不同尺寸大小的特征图相应融合，分别输出作为融合过的特征图，由此构建出具有5个不同尺度的特征金字塔，其中第五个尺度由第四个尺度的特征下采样得到。

3.根据权利要求1所述的基于多尺度语义特征融合的遥感图像目标检测方法，其特征在于，所述步骤2中，通过对特征金字塔的多层输出进行上下采样操作，将多层特征归一化到同一个尺寸，然后通过相加，再利用数层卷积层做后处理，接着分别利用2层的卷积层输出全图的掩码图和语义特征图。

4.根据权利要求1所述的基于多尺度语义特征融合的遥感图像目标检测方法，其特征在于：步骤3中，将步骤2中得到的掩码图再次上下采样到金字塔网络中对应的尺度，与特征金字塔中的特征图逐元素相乘，通过特征图加权的方式，对特征图中的背景噪音进行抑制，接着在候选区域网络中，利用两层的卷积层进行候选区域框的回归和分类。

5.根据权利要求1所述的基于多尺度语义特征融合的遥感图像目标检测方法，其特征在于，步骤4中，利用ROIAlign操作基于步骤3中得到的候选区域，在特征金字塔网络、全图语义特征图和原始输入图像上获得候选区域内的局部特征，并将多来源的局部特征进行融合。

6.根据权利要求1所述的基于多尺度语义特征融合的遥感图像目标检测方法，其特征在于，步骤5中，使用多层语义特征融合之后的区域局部特征作为当前候选框的特征，使用全连接层进行各个候选区域的边界框偏移量回归和分类预测。