[发明专利]基于特征金字塔网络的特征增强目标检测方法

说明书

本发明公布了一种基于特征金字塔网络的图像目标检测方法，在送入目标检测器之前采用的骨干网络模型中增加自顶向下模块TDM、自底向上模块BUM和融合扩展模块FEM，从而形成新型的增强特征金字塔网络eFPN，能够同时增强对小尺寸物体、大尺寸物体和中等尺寸物体的检测性能，只引入很少的参数和计算量，更好地解决目标检测过程中多尺度目标的问题，显著增强单阶段网络和双阶段网络的性能，由此提高图像中多尺度目标物体的检测性能。

技术领域

本发明属于目标检测技术领域，涉及计算机视觉与深度学习技术，尤其涉及一种基于金字塔网络结构的特征增强金字塔网络(eFPN：enriched feature pyramid network)的目标检测方法。

背景技术

目标检测是计算机视觉领域中的基本任务之一，它在现实生活中有着非常广泛的应用，如视频监控、自动驾驶等。近年来，随着深度学习领域的快速发展，目标检测算法获得了很大的进展。

目前，基于深度学习的目标检测算法可以分为两种类型，一类是单阶段检测器，例如SSD(SSD:Single Shot MultiBox Detector)，RetinaNet(Focal Loss for DenseObject Detection)。另一类是双阶段检测器，例如Faster R-CNN(Faster R-CNN:TowardsReal-Time Object Detection with Region Proposal Networks)，FPN(Feature PyramidNetworks for Object Detection)，MaskR-CNN，Cascade R-CNN(Cascade R-CNN:Delvinginto High Quality Object Detection)等。

然而，上述目标检测算法对神经网络各层特征的利用都较为不充分，在网络中丢失了不少有效的信息。在神经网络中，顶层的特征虽然语义信息较丰富，但目标位置信息较粗略；而底层的特征语义信息比较少，但目标位置准确。对于大尺寸对象而言，顶层的特征更加适合于用以检测；而对于小尺寸对象而言，底层特征则更加优越。传统的目标检测算法无法很好地在各层特征间进行取舍，因此容易受到图像中多尺度对象的影响，图像目标检测的准确性和精度均受限。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于特征金字塔网络的特征增强目标检测方法，能够更有效地解决图像目标检测过程中多尺度目标的问题，且显著增强单阶段网络检测图像和双阶段网络检测图像目标的性能。

本发明方法在现有传统的骨干网络模型中增加了TDM(top-down module自顶向下模块)、BUM(bottom-up module自底向上模块)、FEM(fuse-extend module融合扩展模块)。

TDM(自顶向下模块)，结构如图2所示，在骨干网络逐级提取到各层特征后，对最顶层特征进行全局平均池化，并进行上采样后与骨干网络顶层特征相加并通过1×1卷积得到TDM的顶层强化特征，之后依次进行上采样后与骨干网络对应层相加的操作，直至得到TDM强化特征金字塔；BUM(自底向上模块)，结构如图3所示，在骨干网络逐级提取到各层特征后，将第二层特征进行上采样后与骨干神经网络底层特征相加后1×1卷积生成BUM的底层强化特征，之后BUM模块的每一层特征均由骨干网络中的对应层、对应层的上层上采样结果以及下层强化特征降采样结果相加后1×1卷积生成，直至得到BUM多尺度特征金字塔；FEM(融合扩展模块)，结构如图4所示，该模块执行步骤主要分为两部分，将骨干网络特征金字塔分为两部分：顶层特征与底层特征，首先将两部分分别进行融合得到两层特征(将两部分中的特征上采样或降采样至同等大小后相加并通过1×1卷积生成)，然后将这两层特征进行扩展，重新生成相应尺寸的FEM多尺度增强特征金字塔(将两部分分别上采样或降采样至另一部分的大小后进行连接操作，之后可以通过上采样与降采样得到不同大小的特征，从而形成特征金字塔)。