[发明专利]用于小尺度目标检测的深度双向特征金字塔增强网络

摘要

本发明涉及一种用于小尺度目标检测的深度双向特征金字塔增强网络，包括：确定网络编码端的主干网络；设计Bottom‑up特征金字塔；设计Top‑down特征金字塔；目标检测子网络：采用faster‑rcnn中两阶段检测的策略，分别为候选框提取阶段和目标分类阶段，RPN阶段在top‑down特征金字塔的每个尺度的输出特征图上采用卷积核为3x3的卷积进行目标框的回归和是否是目标的概率的预测，经过筛选后的候选目标框再与对应尺度top‑down特征金字塔的输出特征图做ROI‑pooling，最后使用两个全连接层进行框的调整和目标具体类别的分类；输出物体检测结果。

主权项

1.一种用于小尺度目标检测的深度双向特征金字塔增强网络，包括：(1)确定网络编码端的主干网络：以残差网络作为主干网络，残差网络包含5个卷积模块，每个卷积模块以一个池化层(pooling)或者步长为二的卷积(stride convolution)开始。(2)设计Bottom‑up特征金字塔：在bottom‑up特征金字塔的构造过程中，每次特征融合操作将两路特征用对应元素相加的操作完成，一路由当前尺度的主干网络的pooling层或步长为二卷积层的输出经过一个卷积核为1x1的卷积层进行通道特征融合和通道方向维度调整，调整后的通道为统一的256，另一路为bottom‑up金字塔结构中前一次特征融合后经过一个卷积核为3x3，步长为二，输出通道数为256的卷积层之后的输出，从主干网络的第三个卷积模块开始连续做三个尺度的融合；(3)设计Top‑down特征金字塔：在top‑down特征金字塔的构造过程中，每次特征融合操作将三路特征用对应元素相加的操作融合，第一路为与当前融合模块输出尺度相同的主干网络的卷积模块最后一层的输出经过一个卷积核为1的卷积层融合通道特征并调整通道方向维度为统一的256之后的输出，第二路为bottom‑up金字塔上与当前融合模块输出尺度的1/2尺度对应的特征融合模块的输出经过一个卷积核为3x3，输出通道数为256的卷积层，再经过一个倍数为2的上采样的输出，第三路为top‑down金字塔上与当前融合模块输出尺度的1/2尺度对应的特征融合模块的输出经过一个卷积核为3x3，输出通道数为256的卷积层，再经过倍数为2的上采样的输出，在top‑down特征金字塔中从主干网络的最后一个卷积模块的输出开始连续做三个尺度的融合；(4)目标检测子网络：采用faster‑rcnn中两阶段检测的策略，分别为候选框提取阶段和目标分类阶段，RPN阶段在top‑down特征金字塔的每个尺度的输出特征图上采用卷积核为3x3的卷积进行目标框的回归和是否是目标的概率的预测，经过筛选后的候选目标框再与对应尺度top‑down特征金字塔的输出特征图做ROI‑pooling，最后使用两个全连接层进行框的调整和目标具体类别的分类；(5)输出物体检测结果：给定输入图像，经过主干网络的特征提取，和bottom‑up特征金字塔与top‑down特征金字塔的特征融合，在top‑down特征金字塔融合后的特征图上进行候选目标框的提取和分类，输出目标的位置和尺度由RPN阶段输出的候选目标框的位置信息经过目标分类阶段对位置信息回归的调整之后输出最终的位置和尺度，目标的类别由目标分类阶段的输出确定；由解码端多尺度特征空间与语义空间的融合，得到高分辨率的预测图，预测图经过上采样到与图像一致的尺度，进而得到输入图像的像素级语义分割图。