[发明专利]一种基于多层次特征融合的小尺度行人检测方法

权利要求书

1.一种基于多层次特征融合的小尺度行人检测方法，其特征在于包括如下步骤：

步骤1、将训练集样本中的图像输入到一个在ImageNet数据集上预先训练好的VGG-16卷积神经网络提取特征，然后行人区域提议网络根据提取的特征生成行人候选区域，接着将行人候选区域映射回卷积神经网络提取的特征图并池化成同样尺寸的特征向量送入分类回归网络进行分类回归，最后设置整体网络的损失函数完成端对端的训练；

步骤2、将测试集中的图像输入卷积神经网络进行特征提取，得到多层卷积特征图，并将具有丰富细节信息的浅层特征和具有丰富语义信息的深层特征进行多层特征融合；

步骤3、将多层特征融合后得到的特征图输入行人区域提议网络生成行人候选区域；

步骤4、将行人候选区域特征池化成相同尺寸的特征向量；

步骤5、将池化后的特征向量输入分类回归网络对行人候选区域进行进一步的分类回归，最后得到行人的检测结果。

2.根据权利要求1所述的多层次特征融合的小尺度行人检测方法，其特征在于步骤1所述的设置整体网络的损失函数完成端对端的训练，具体如下：

1-1、首先将与标注框的重叠交并比(IoU)最大，或者与标注框的IoU超过0.6的行人候选区域分配正标签，为IoU低于0.2的行人候选区域分配负标签；IoU的计算公式为：

1-2、设计整体检测网络的损失函数L({p_i},{t_i})：

其中，i是一个小批量数据中的行人候选区域的索引，p_i是行人候选区域i作为前景的预测概率；如果行人候选区域为正样本，则它的真实标签为1，如果行人候选区域为负样本，则为0；t_i是表示预测边界框4个参数化坐标的向量，而是与正行人候选区域相关的真实标注框的向量；分类损失L_cls是两个类别上(前景或背景)的对数损失；回归损失表示回归损失仅对于正样本激活，否则被禁用

3.根据权利要求1或2所述的多层次特征融合的小尺度行人检测方法，其特征在于步骤2所述的多层特征融合，具体实现如下：

2-1、使用一个具有5个卷积模块的并在ImageNet数据集上预先训练好的卷积神经网络对输入图像进行卷积提取特征，每一个卷积模块后都会产生一个卷积特征图；

2-2、由于每层之后的特征图分辨率会因为池化操作变小，故以双线性插值的方式将尺寸较小的第5层卷积后的特征图上采样到第4层卷积后的特征图的尺寸，将尺寸较大的第3层卷积后的特征图以Max Pooling的方式下采样到第4层卷积后的特征图尺寸；

2-3、在特征通道叠加前又分别通过Batch Normalization层对调整过尺寸的不同层特征图进行归一化；

2-4、通过通道叠加的方式对第3、4、5个卷积模块后的卷积特征图进行通道融合；

2-5、加入了1×1的卷积层将融合特征的维度降到512，同时卷积层后增加了非线性激活函数Relu，最后将多层特征融合后得到的特征图输入行人区域提议网络生成行人候选区域。

4.根据权利要求3所述的多层次特征融合的小尺度行人检测方法，其特征在于步骤3所述的行人区域提议网络生成行人候选区域，具体如下：

3-1、在多层次特征融合后得到的卷积特征图上以每个点为中心生成宽高比为0.4和12种尺度的行人参考框；

3-2、然后在卷积特征图上滑动一个3×3的窗口做卷积操作，每一个滑动窗口生成一个512维的特征向量；

3-3、将生成的特征向量分别输入到两个1×1的全连接层，一个分类层输出参考框作为前景的置信度，一个回归层输出参考框相较于标注框的坐标偏移量；

3-4、根据置信度和坐标偏移量最终输出只包含行人的候选区域。

5.根据权利要求4所述的多层次特征融合的小尺度行人检测方法，其特征在于步骤4所述的行人候选区域池化，具体如下：

4-1、将行人候选区域映射到多层次特征融合得到的特征图上；

4-2、将不同尺寸的行人候选区域对应的特征图池化成全连接层所要求的固定的尺寸7×7×512，并通过双线性插值的方式补充池化过程中不能整除的点。

6.根据权利要求5所述的多层次特征融合的小尺度行人检测方法，其特征在于步骤5具体如下：

5-1、对池化后的相同尺寸的行人候选区域特征图分别送入两个全连接层，一个用于分类，以降低行人的误检；一个用于回归位置，以使行人的定位更精确；

5-2、对于最后生成的行人检测框进行非极大值抑制处理，以剔除包含同一行人的重复检测框，最终得到行人的检测结果。