[发明专利]基于特征金字塔网络的特征增强目标检测方法

摘要

本发明公布了一种基于特征金字塔网络的图像目标检测方法，在送入目标检测器之前采用的骨干网络模型中增加自顶向下模块TDM、自底向上模块BUM和融合扩展模块FEM，从而形成新型的增强特征金字塔网络eFPN，能够同时增强对小尺寸物体、大尺寸物体和中等尺寸物体的检测性能，只引入很少的参数和计算量，更好地解决目标检测过程中多尺度目标的问题，显著增强单阶段网络和双阶段网络的性能，由此提高图像中多尺度目标物体的检测性能。

主权项

1.一种基于特征金字塔网络的图像目标检测方法，在送入目标检测器之前采用的骨干网络模型中增加自顶向下模块TDM、自底向上模块BUM和融合扩展模块FEM，从而形成新型的增强特征金字塔网络eFPN，由此提高图像中多尺度目标物体的检测性能；包括如下步骤：1)建立基于深度学习的骨干网络；将骨干网络在分类数据集上进行预训练；2)将待检测图像送入步骤1)建立的基于深度学习的骨干网络提取特征，得到各层特征；特征通道数依次是2048，1024，512，256；对得到的所有特征图均进行1×1卷积操作，并将得到的特征通道数统一为256；3)增加自顶向下模块TDM、自底向上模块BUM和融合扩展模块FEM：3.1)建立自顶向下模块TDM，具体执行如下操作：3.1.1)在步骤2)得到各层特征后，对最顶层的特征先进行3x3的卷积操作，将特征通道数进行降维，再全局平均池化至1×1的分辨率，最后上采样成最顶层特征的分辨率；3.1.2)对骨干网络得到的其他特征层进行1×1卷积操作，统一转化成256通道数的特征图；将最顶层的特征图与3.1.1)中得到的最顶层特征相加；3.1.3)按照自顶向下的顺序，逐个对特征图进行2倍上采样操作，上采样得到的特征图尺寸与下一层特征图尺寸相同；然后将上采样得到的特征图与下一层相同尺寸的特征图进行相加操作；按照该顺序进行递归操作，即可得到TDM自顶向下结构的特征金字塔；3.2)建立融合扩展模块FEM，具体执行如下操作：3.2.1)在通过步骤2)得到各层特征后，将最顶层的特征尺寸上采样为原来的两倍，与第二层的特征做加法操作，再将最底层的特征降采样为原来的两倍，与上一层的特征进行加法操作；由此得到两种通道数均为256的不同尺寸的特征；3.2.2)将小尺寸的特征上采样为原来的两倍，与大尺寸的特征进行连接操作；将大尺寸特征降采样为原来的一半，与小尺寸特征做连接操作，得到两种通道数均为512的不同尺寸的特征；3.2.3)将步骤3.2.2)中得到的两种尺寸的特征卷积成256通道的特征；再对步骤3.2.1)和步骤3.2.3)得到的四种特征与步骤2)中相同尺寸的特征做加法操作，形成残差连接，即得到BUM自顶向下结构的特征金字塔；3.3)建立自底向上模块BUM，具体执行如下操作：3.3.1)在通过步骤2)得到各层特征后，把倒数第二层的特征上采样为原来的两倍，与最底层的特征相加得到特征F1；3.3.2)将特征F1降采样为原来的一半，第二层上采样为原来的两倍；与第三层的特征相加得到特征F2；将F2降采样为原来的一半，最顶层上采样为原来的两倍，与第二层的特征相加得到F3；3.3.4)将F3降采样为原来的一半，与最顶层相加，得到F4；3.3.4)最后对F1，F2，F3，F4做1×1卷积操作并且不改变特征的尺寸，即可得到BUM自底向上结构的特征金字塔；4)步骤3)三个模块得到的特征金字塔，包括：TDM自顶向下结构的特征金字塔、BUM自顶向下结构的特征金字塔、BUM自底向上结构的特征金字塔；将上述三个特征金字塔相同尺寸的对应层特征进行按通道方向做连接操作，并分别送入目标检测器中，实现对多尺度目标目标进行高精度的检测。