[发明专利]一种小尺度密集行人检测方法

摘要

本发明公开了一种小尺度密集行人检测方法，解决了现有的行人检测在检测小尺度行人场景下误检、漏检率高，难以做到对精度与检测速度的均衡，且在行人密集场景下，因为行人之间的特征区分度低，在监控视频中模糊度高，容易出现漏检与误检的问题。本发明在基于锚点的卷积神经网络框架的基础上，针对每个锚点进行方向上的扩充，即同个锚点位置上存在四个相同尺度、相同形状的锚点框，其中每个锚点框负责检测特定方向的目标，在一定程度上避免了每个锚点只存在一个锚点框时，受不同方向目标干扰的问题，各个锚点框仅负责检测特定方向时，某一方向的锚点框将不受其他方向目标特征的影响。

主权项

1.一种小尺度密集行人检测方法，其特征在于：包括以下步骤：S1、在预设应用场景下架设多视角的摄像采集设备，采集不同场景下、不同姿态、不同服饰穿戴、不同民族、不同年龄、不同性别的人体图像数据，通过对采集到的人体数据再处理(平移、旋转、放缩，光照)得到扩充数据，对原始采集数据进行扩充，标注出人体的外接矩形框，以人体外接矩形框中心构建高斯掩膜，高斯掩膜表示在二维图像上掩膜的像素值以一定点像素为中心产生高斯分布，得到图像序列I＝[i₁，i₂，…，i_n]与基于图像序列的行人外接矩形框标注B＝[b₁，b₂，…，b_n]和行人高斯掩膜标注G＝[g₁，g₂，…，g_n]；S2、采用无监督聚类对标注数据进行分类，将待训练的标注数据分为大尺度、中尺度、小尺度三个类别，将数据集中的行人按照像素高度的不同设置为h＜H₁，H₁≤h≤H₂，h＞H₂这三个尺度，根据训练数据集分布的不同将设置不同的H₁和H₂，保证小于h＜H₁、H₁≤h≤H₂与h＞H₂数量保持大致一致，保证网络模型在训练时不出现往某个尺度偏移；S3、确定当前帧图像流作为网络模型输入传入，经过多个卷积层与池化层的特征处理，输出最后的特征图，基于特征图进行离散采样生成二维锚点，以每个锚点为中心产生5种面积Sa＝[32²，64²，128²，256²，512²]，3种长宽纵横比r＝[0.5，1，2]的锚点框A＝[a₁，a₂，…，a_n]，每个锚点位置存在15个不同尺度、不同形状的锚点框，将锚点框扩充至4份A＝[[a₁₁，a₁₂，a₁₃，a₁₄]，[a₂₁，a₂₂，a₂₃，a₂₄]，…，[a_n1，a_n2，a_n3，a_n4]]，在所有锚点框A中每个锚点位置都存在4个相同的锚点框[a_k1，a_k2，a_k3，a_k4](K∈(1，n)，唯一不同之处在于4个锚点框分别回归左上，右上，左下，右下4个不同区域的目标，将输入帧图像的行人外接矩形框标注B＝[b₁，b₂，…，b_n]作为回归目标，计算扩充后的锚点框，A＝[[a₁₁，a₁₂，a₁₃，a₁₄]，[a₂₁，a₂₂，a₂₃，a₂₄]，…，[a_n1，a_n2，a_n3，a_n4]]与行人外接矩形框标注B＝[b₁，b₂，…，b_n]的交并比，判断A_i([[a_i1，a_i2，a_i3，a_i4])与B_j的交并比小于0.3时A_i作为该类负样本，在0.3与0.7之间时A_i不参与该类训练，大于0.7时A_i将作为该类正样本，判断B_j在A_i锚点出的方位，B_j位于A_i左上区域时，a_i1参与训练回归到B_j，B_j位于A_i左上区域时，a_i1参与训练回归到B_j，B_j位于A_i右上区域时，a_i2参与训练回归到B_j，B_j位于A_i左下区域时，a_i3参与训练回归到B_j，B_j位于A_i右下区域时，a_i4参与训练回归到B_j；S4、从网络模型的不同阶段获取不同语义的特征图，取其中的3个阶段的特征图，将不同语义的特征图匹配不同尺度的目标，高语义特征图匹配大尺度目标，中语义特征图匹配中尺度目标，低语义特征图匹配小尺度目标，同时在不同语义特征图间采用级联形式，低语义特征图往上叠加在高一级语义的特征图上，最后经过几个卷积层输出掩膜预测特征图，与高斯掩膜标注产生损失；S5、在基础卷积神经网络结构后接3个分支的类resnet block操作，与resnet block不同的是三个分支采用不同的卷积核膨胀系数，构建不同感受野的卷积分支，3个分支在同阶段的卷积核上进行权重共享，故在3个分支各产生一特征图，将作为标签的行人目标外接矩形框按S2中的尺度分类，分配给各个分支，按照卷积核膨胀系数从小到大分配小尺度、中尺度与大尺度目标；S6、采用交叉轮流训练的方式，先训练区域提议网络，再用提取外接矩形框训练基于区域的分类器网络，再用分类器网络训练区域提议网络，损失层是卷积神经网络的终点，接受两个值作为输入，其中一个是卷积神经网络的预测值，另一个是真实标签，损失层则将这两个输入进行一系列运算，得到当前网络的损失函数，一般记做L(W)，其中W是当前网络权值构成的向量空间，训练网络的目的是在权值空间中找到让损失函数L(W)最小的权值W(opt)，可以采用随机梯度下降的最优化方法逼近权值W(opt)，该网络中采用两个损失函数，分别是分类损失函数和回归损失函数。