[发明专利]基于深度学习的多目标行人检测与跟踪方法

权利要求书

1.一种基于深度学习的多目标行人检测与跟踪方法，其特征在于：该方法包括多目标行人检测、关键帧特征提取与关键帧间行人跟踪三个步骤，多目标行人检测步骤为：

(d1)对输入的视频每间隔一定帧数选择一个关键帧，进行多目标行人检测；

(d2)在检测的基础上进行关节点提取，并保存获得的位置信息及关节点信息作为下一阶段的输入；

关键帧特征提取步骤为：

(f1)根据(d2)所得的位置信息针对关键帧内的行人进行颜色直方图特征提取；

(f2)根据(d2)所得的位置信息与关节点信息，提取关键帧内的行人的上半身姿态特征；

(f3)将颜色直方图特征与上半身姿态特征拼接得到该行人的总特征，与上一个关键帧检测到的行人匹配，关联跟踪轨迹；

关键帧之间行人跟踪步骤为：

(t1)使用分块匹配率模型检测算法计算关键帧之间行人匹配率；

所述步骤(t1)包括如下步骤：

(t1.1)将行人划分为边缘与内部，计算关键帧之间行人匹配率；

(t1.2)如果边缘匹配率首先下降，增加学习率以抵抗遮挡，如果内部匹配率首先下降，除掉一定最近状态；

(t2)使用阈值慢起步策略跟踪行人匹配率；所述阈值慢起步策略，当处于跟踪状态时，阈值也进入学习状态，随着匹配率的变化而以一定的学习率变化；

(t3)对匹配行人进行保存历史状态投票；所述保存历史状态投票，包括：当行人暂时丢失后，如果继续更新模型，则会学习到相应的背景信息，需要将模型的学习率降低到0，并在一定时间后，反而将跟踪框内容转换成负样本，还是会学到背景信息导致模型污染或者过早学习负样本导致破坏原有架构，需要保存历史状态；

(t4)在(t1)至(t3)步骤中使用遮挡检测方法；

(t5)对暂时跟丢的行人使用跟丢搜索范围变化算法；

(t6)跟踪结束后返回步骤(d1)重新检测。

2.根据权利要求1所述的基于深度学习的多目标行人检测与跟踪方法，其特征在于：所述步骤(d1)包括如下步骤：

(d1.1)将提取的关键帧输入所训练基于ResNet的行人检测卷积神经网络中，提取最后池化层的特征；

(d1.2)将上述步骤(d1.1)中的特征依次送入一个子网络中，网络计算出包含行人的包围框，以及每个包围框内含有行人的置信度。

3.根据权利要求1所述的基于深度学习的多目标行人检测与跟踪方法，其特征在于：所述步骤(f2)包括如下步骤：

(f2.1)结合步骤(d2)中检测出的关节点信息与位置信息，计算上半身关节点之间的关节距离；

(f2.2)将步骤(f2.1)的上半身关节点距离构成一个向量。

4.根据权利要求1所述的基于深度学习的多目标行人检测与跟踪方法，其特征在于：所述步骤(t5)包括如下步骤：

(t5.1)若行人处于暂时跟丢状态，如果行人的跟丢时间小于阈值T，说明行人没有永久性丢失；

(t5.2)如果跟丢时间大于阈值t，其中，阈值t小于步骤(t5.1)中所述阈值T，则扩大行人的搜索范围；

(t5.3)如果行人的跟丢时间小于阈值t，则搜索范围不变。