[发明专利]基于深度学习的遮挡行人检测方法

权利要求书

1.一种基于深度学习的遮挡行人检测方法，其特征在于，包括：

(1)读取行人检测数据库数据，使用VGG卷积神经网络提取数据的卷积特征，将VGG卷积神经网络不同层提取的特征进行叠加融合，得到融合特征，并将VGG网络最后一层特征作为非融合特征；

(2)构建掩码网络，将融合特征和非融合特征分别输入到该掩码网络中，得到两种对行人表达效果不佳的卷积特征；

(3)构建由掩码网络、RPN网络和softmax分类器组成的判别网络，将(2)得到的两种卷积特征分别输入到RPN网络中得到两种可能含有行人目标的候选区域，将该候选区域输入到softmax分类器中，得到两种概率得分，这两种概率得分的数值均在0到1之间；根据概率得分选择输出对于遮挡下的行人目标更为有效的卷积特征，当融合特征得到的概率得分高于非融合特征得到的概率得分时，输出融合特征，反之，则输出非融合特征；

(4)根据(3)中输出的特征，得到回归边界和分类概率：

4a)将(3)中输出的特征输入到RPN网络中，得到行人目标的候选区域，把候选区域映射到VGG卷积神经网络的卷积特征层中，得到每个候选区域在卷积特征层中对应的卷积特征；

4b)将4a)得到的卷积特征输入到两个全连接层中，得到数千个分类概率，其中每一个分类概率都有其对应的回归边界；

(5)根据4b)得到的回归边界和分类概率，通过损失函数L对VGG卷积神经网络、判别网络和RPN网络进行训练，得到最终的网络模型：

5a)利用损失函数L包括的分类概率损失子函数L_cls和回归边界损失子函数L_reg，计算分类概率损失子函数L_cls和回归边界损失子函数L_reg；

5b)根据分类概率损失子函数L_cls和回归边界损失子函数L_reg的值，计算得到损失函数L；

5c)通过逐步迭代减小损失函数L的值，完成对VGG卷积神经网络、判别网络和RPN网络的训练，得到最终的网络模型；

(6)将待检测的图像输入到最终的网络模型中，得到数千个待检测图像的分类概率，其中每个分类概率都有其对应的回归边界；保留大于设定阈值的分类概率，并将这些分类概率对应的回归边界映射到待检测的图像中，得到一个或多个矩形框，即为最终的检测结果。

2.根据权利要求1所述的方法，其中(1)中使用VGG卷积神经网络提取数据的卷积特征，是由VGG卷积神经网络通过3×3矩阵的卷积核按如下步骤提取：

1a)使用卷积核对输入数据进行卷积计算，得到神经网络中的第一个卷积特征图；

1b)使用卷积核对当前卷积特征图进行卷积计算，得到神经网络下一个卷积特征图；

1c)重复步骤1b)，得到十六个卷积特征图，该第十六个卷积特征图中的数据为最终提取出来的卷积特征。

3.根据权利要求1所述的方法，其中(2)中构建的掩码网络，其结构如下：

第一层为卷积层，用于对尺寸为w×h×c的输入特征图进行卷积操作，得到尺寸为w×h×c/16的特征图；

第二层为池化层，用于对第一层卷积得到的特征图进行步长为4的池化操作，得到宽为w/4、高为h/4的特征图；

第三层为上采样，用于对第二次池化得到的特征图进行上采样，得到宽为w、高为h的特征图；

第四层为融合层，用于把第三层上采样得到的特征图和输入特征图进行融合，得到尺寸为深度为17/16×c的特征图；

第五层为卷积层，用于对第四层融合得到的特征图进行卷积操作，得到尺寸为w×h×c的特征图。

4.根据权利要求1所述的方法，其中4b)中的将4a)得到的卷积特征输入到两个全连接层中，得到数千个分类概率，实现如下：

使用全连接层进行分类，即将全连接层的每一个结点都与输入特征的所有结点相连，再将之前提取到的特征综合起来，得到长度为3000-4000的二维数组，该二维数组中的每一个值代表每个候选区域属于行人和背景的概率，由数组的数千个值得到数千个分类概率。