[发明专利]一种基于多层次特征融合的小尺度行人检测方法

说明书

本发明公开了一种基于多层次特征融合的小尺度行人检测方法。本发明首先使用卷积神经网络对输入图像进行特征提取，并将具有丰富细节信息的浅层特征和具有丰富语义信息的深层特征进行融合，然后在行人区域提议和分类回归中通过行人候选区域池化共享多层融合后的特征，最后得到检测结果。本发明通过设计的损失函数将特征提取，区域提议和分类回归整个检测流程合并成一个完整的网络，从而可以端对端的对整个网络进行训练，训练好的检测网络可以直接应用于行人检测。本文发明在存在大量小尺度行人的自动驾驶和监控场景下，能保持较好鲁棒性和高效性。

技术领域

本发明属于计算机视觉的目标检测技术领域，特别涉及一种基于多层次特征融合的行人检测方法。

背景技术

行人检测作为目标检测中的一个实例，一直是计算机视觉研究中的热点和难点，随着过去几十年计算机视觉技术和人工智能的迅速发展，行人检测已经成为包括社会安全、公共交通、互联网发展等各领域里的热门研究课题之一。行人检测要解决的问题是：找出图像或视频中所有的行人，包括行人的位置和大小。该技术是行人跟踪，步态识别和行人行为分析等研究的基础和前提，一个好的行人检测算法可以为后者提供有力的支持和保障。

行人是目标检测中最难检测的物体之一，这是因为行人的背景复杂多变，遮挡和尺度过小等问题相较于一般的目标检测更加严重。其中小尺度的行人对于检测性能影响最大且出现的情况更普遍，比如在自动驾驶场景下存在很多距离汽车较远的小行人，这些目标很难用激光雷达探测到，这个时候就需要计算机视觉的帮助，所以需要一种针对于小尺度行人的检测方法。

发明内容

本发明的目的就是在自动驾驶和视频监控等存在大量小尺度行人的场景下，提出一种基于多层次特征融合的小尺度行人检测方法，提高行人检测的准确率。本发明方法是一个完整的深度学习检测网络，首先使用卷积神经网络对输入图像进行特征提取，并将具有丰富细节信息的浅层特征和具有丰富语义信息的深层特征进行融合，然后在行人区域提议和分类回归中通过行人候选区域池化共享多层融合后的特征，最后得到检测结果。本发明方法，通过设计的损失函数将特征提取，区域提议和分类回归整个检测流程合并成一个完整的网络，从而可以端对端的对整个网络进行训练，训练好的检测网络可以直接应用于行人检测。

本发明具体包括如下步骤：

步骤1、将训练集样本中的图像输入到一个卷积神经网络提取特征、然后行人区域提议网络根据提取的特征生成行人候选区域，接着将行人候选区域映射回卷积神经网络提取的特征图并池化成同样尺寸的特征向量送入分类回归网络进行分类回归，最后设置整体网络的损失函数完成端对端的训练；

步骤2、将测试集中的图像输入卷积神经网络进行特征提取，得到多层卷积特征图，并将具有丰富细节信息的浅层特征和具有丰富语义信息的深层特征进行融合；

步骤3、将多层特征融合后得到的特征图输入行人区域提议网络生成行人候选区域；

步骤4、将行人候选区域映射回多层融合后的得到特征图，然后池化成相同尺寸的特征向量。

步骤5、将池化后的向量输入分类回归网络对行人候选区域进行进一步的分类回归，最后得到行人的检测结果。

本发明有益效果如下：

本发明将多个卷积层得到的卷积特征图进行特征融合，这种策略同时兼顾了浅层特征丰富的细节信息和深层特征抽象的语义信息，丰富了小尺度行人的特征，有助于提高对于小尺度行人的分类；本发明将不同大小的行人候选区域映射回特征图，避免了对每个候选区域分别进行卷积特征提取，实现了特征的复用，这极大地提高了检测速度；本发明通过行人候选区域池化将不同尺寸的行人候选区域特征图变成相同的尺寸以便分类回归，并在池化过程中使用双线性插值补充池化过程中难以整除的像素点，避免了量化操作，提高了行人的定位准确度。

本文发明在存在大量小尺度行人的自动驾驶和监控场景下，能保持较好鲁棒性和高效性，因此在实际中具有较好的应用价值。