[发明专利]一种结合上下文信息和多级特征的图像中行人检测方法

权利要求书

1.一种结合图像上下文信息和图像多级特征的行人检测方法，对待检测图像，利用图像分类深度模型进行特征提取，将深度模型中每一层卷积层产生的特征图均存储在内存中，在最后一层特征图上执行区域提取网络RPN，获得多个可能包含行人的高质量感兴趣区域RoI，即预选框；针对每一个RoI，首先对最后一层特征图在相应位置提取上下文信息特征，然后进行图像多级特征提取，提取该RoI在多个特征图上相应位置的特征并组成多级特征；将上下文信息与多级特征按通道维度连接在一起，输送到分类器中进行分类训练和定位检测；通过不断训练识别行人，由此达到对图像中行人进行准确检测的目的。

2.如权利要求1所述行人检测方法，其特征是，所述图像分类深度模型为由文献(Simonyan,Karen,and Andrew Zisserman."Very deep convolutional networks for large-scale image recognition."arXiv preprint arXiv:1409.1556(2014))记载的具有13层卷积层的VGG16深度卷积网络模型；最后一层特征图为conv5_3。

3.如权利要求2所述行人检测方法，其特征是，预选框提取具体是：利用一个尺寸为n×n的空间窗口，在最后一层特征图conv5_3上以步长为1的速度沿着长和宽滑动，每滑到一个位置，同时预测产生k个不同尺度、不同长宽比的参考框anchor box；针对每个预选框，根据该预选框中包含目标的可能性预测一个分数；根据分数从高到低排序，保留前面多个最有可能包含行人的预选框RoI。

4.如权利要求2所述行人检测方法，其特征是，对conv5_3在相应位置提取上下文信息特征，具体是：针对每一个预选框RoI，在最后一层特征图conv5_3中，利用相当于l(l>1)倍该预选框RoI面积的RoI池化操作，提取得到该RoI在相应位置的上下文信息特征。

5.如权利要求2所述行人检测方法，其特征是，图像多级特征提取具体针对每一个预选框RoI，分别对VGG16产生的conv3_3、conv4_3、conv5_3三级特征图，在相应位置利用RoI池化操作分别提取得到各级特征，并组成多级特征。

6.如权利要求2所述行人检测方法，其特征是，特征连接是：对提取出的图像上下文特征与图像多级特征分别进行L₂正规化操作和缩放操作，再将特征沿着通道维度连接在一起，即将上下文特征与多级特征结合，使得获得的特征包含更多信息；具体包括如下过程：

1)对3级特征和上下文特征按照式1进行L₂正规化：

设特征为d维，记为x＝(x₁,x₂,…,x_d)，利用式1来正规化该特征：

其中，为特征x的正规化值；

2)为输入的每一个通道均引入一个缩放系数γ_i，被缩放的正规化值为

3)沿着通道维度，将L₂正规化操作及缩放操作后的上下文特征与多级特征连接在一起，组成最终的行人特征，供分类器进行分类；

4)在训练阶段，利用反向传播算法和链式法则为每一个特征x和每一个缩放系数γ单独学习，使得通过训练每个特征都能具有相似的范数和尺度。

7.如权利要求2所述行人检测方法，其特征是，检测行人时，将组合好的特征送到分类器中进行分类和标注框回归，检测结果为该预选框被分类为行人类别的可能性分值及经过标注框回归后的预选框坐标值，设置分值阈值，将大于阈值的预选框以及相应的坐标位置输出，由此达到行人检测的目的。

8.如权利要求7所述行人检测方法，其特征是，将组合好的特征送到分类器中之前，对特征利用1×1的卷积层进行压缩，将特征压缩为512×7×7维。

9.如权利要求7所述行人检测方法，其特征是，分值阈值设置为0.01。