[发明专利]基于语义增强的多尺度特征金字塔融合的行人检测方法

权利要求书

1.一种基于语义增强的多尺度特征金字塔融合的行人检测方法，其特征在于，所述行人检测方法先采用梯形路径增强模型提取图片的多尺度特征，再通过多尺度特征融合模型进行特征融合；

所述梯形路径增强模型为在现有特征金字塔的基础上加入更高层次的特征层来提取更高层次的特征信息；

所述多尺度特征融合模型具体为通过相邻特征层的特征数据相加再级联的方式进行特征融合，以增强不同尺度下的特征信息，同时减少通道数。

2.根据权利要求1所述的基于语义增强的多尺度特征金字塔融合的行人检测方法，其特征在于，所述梯形路径增强模型以ResNet-50为骨干网络，构建自上而下的路径和自下而上的路径，两个路径之间通过水平连接增强每个尺度的特征；自上而下的路径中的特征层表示为{P3，P4，P5，P6}，自下而上的路径中的特征层表示为{N3，N4，N5，N6，N7}。

3.根据权利要求2所述的基于语义增强的多尺度特征金字塔融合的行人检测方法，其特征在于，P6层特征数据是由P5层特征数据经过步长为2的3×3卷积操作获得。

4.根据权利要求2所述的基于语义增强的多尺度特征金字塔融合的行人检测方法，其特征在于，N6层特征数据是由N5层特征数据经过步长为2的3×3卷积操作获得。

5.根据权利要求2所述的基于语义增强的多尺度特征金字塔融合的行人检测方法，其特征在于，N7层特征数据是通过步长为2的最大池化操作获得。

6.根据权利要求1所述的基于语义增强的多尺度特征金字塔融合的行人检测方法，其特征在于，所述多尺度特征融合模型的工作过程包括：

S1、相邻的待相加的两个特征层中，上层特征层上采样得到下层特征层的大小，再将两个特征层相加得到对应的特征图；特征层为单数时，最下层特征层不进行相加操作；

S2、采用最近邻插值增加所有特征图的尺度；采用反卷积增加未进行相加操作的特征层的尺度；

S3、对经过尺度增加的特征图和/或特征层进行归一化操作，并使之沿着通道维度级联在一起，输出到检测头进行分类回归。

7.根据权利要求6所述的基于语义增强的多尺度特征金字塔融合的行人检测方法，其特征在于，步骤S2中尺度增加的标准为使级联获得的特征图的大小为H/r×W/r；其中，r是下采样因子，H和W为原始输入图像的高和宽。

8.根据权利要求7所述的基于语义增强的多尺度特征金字塔融合的行人检测方法，其特征在于，下采样因子r取值为4。

9.根据权利要求2所述的基于语义增强的多尺度特征金字塔融合的行人检测方法，其特征在于，所述梯形路径增强模型以ResNet-50为骨干网络提取stage3到stage5的特征图，再分别将stage3到stage5的特征图下采样到尺度8、16和32；之后经过1×1卷积将通道数统一为256；然后再构建自上而下的路径和自下而上的路径。

10.根据权利要求1所述的基于语义增强的多尺度特征金字塔融合的行人检测方法，其特征在于，所述行人检测方法的实际操作工程包括：将ResNet-50作为骨干，并在ImageNet上进行预训练，同时使用Adam优化方法进行优化；

所述行人检测方法适用于Caltech数据集和CityPersons数据集，使用若干GTX 1080TiGPU进行训练；训练前先设置学习率、batchsize以及迭代次数。