[发明专利]基于Deep-Sort跟踪框架的在线多行人跟踪方法及装置

说明书

本申请揭示了一种基于Deep‑Sort跟踪框架的在线多行人跟踪方法及装置，该方法包括：利用视频帧输入生成目标检测框；计算目标检测框的余弦距离；将目标检测框输入至融合的Vgg‑16网络模型中，将提取的特征值和轨迹输入至KCF中，计算出目标检测框的欧氏距离；根据余弦距离和欧氏距离，结合每个目标检测框的总距离以及Deep‑Sort跟踪框架的匹配级联方式，输出跟踪结果。本申请将Deep‑Sort跟踪算法中的卡尔曼滤波换成高斯核相关滤波，使运动模型可建立在更加丰富的运动场景中，同时加快估计行人运动位置的计算时间，提升算法性能；通过针对高斯核相关滤波器跟踪行人运动产生的漂移现象，提出峰值旁瓣比，将多个相关滤波器衔接起来，以达到更高的跟踪准确率和精确率。

技术领域

本发明属于多行人跟踪技术领域，涉及一种基于Deep-Sort跟踪框架的在线多行人跟踪方法及装置。

背景技术

多行人跟踪是视频监控领域中常见场景之一，其含义是将行人运动视频输入至多行人跟踪算法中，得到各个行人的运动轨迹，包括轨迹的起始与终结。对这些行人轨迹可根据实际用途进行进一步的分析，如行人异常行为分析，因此多行人跟踪在监控视频分析中具有承上启下的作用，使监控信息更具有价值。随着深度学习的蓬勃发展，一大批基于深度学习的多行人跟踪方法也快速涌现，如C-COT，DeepSort，MOTDT，DeepMOT等，这使得跟踪效能大大提升。其中，DeepSort是在Sort算法的基础上进行一些改进，加入了外观特征相似度分量以及更加完备的跟踪逻辑，这些使得跟踪器的性能大幅度提高。Deep-Sort分为特征提取，建立运动模型和轨迹分配三部分，其中第二部分的运动模型采用卡尔曼滤波。

在实际应用中，除卡尔曼滤波外还可采取相关滤波及粒子滤波等运动模型。卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。简而言之，即先由状态方程进行估计，再由观测方程对估计进行纠正。卡尔曼滤波的使用是有前提的，那就是系统噪声必须符合高斯分布及必须是线性系统。然而在实际场景中，这两点不容易同时满足，于是有学者提出了粒子滤波，粒子滤波的优势在于对运动系统没有什么要求。粒子滤波的核心思想就是基于强化学习的优化，其性能可以在去掉高斯假设和线性假设之后仍然保持最优。但其需要通过多次迭代来计算最优，所以复杂程度很高，因此卡尔曼滤波相对于粒子滤波，仍是用途较广的算法。除对运动系统有要求外，当运动目标长时间被遮挡时卡尔曼滤波很可能存在目标跟踪丢的情况，于是很多学者都在研究更鲁棒性的算法。为实现高精确度和快速的目标跟踪，相关滤波是近年来比较热门的方法。相关滤波跟踪的基本思想是设计一个滤波模板，利用该模板与目标候选区域做相关运算，最大输出响应的位置即为当前帧的目标位置。但是目前所有的相关滤波跟踪方法仍然无法解决遮挡和光照变化等因素造成的干扰，这对跟踪性能的MOTA和MOTP的提高带来一定的影响。因此，需要进一步解决遮挡和光照的干扰，以更好地提升跟踪器性能。

Deep-Sort是一种tracking-by-detection的跟踪方法，即先检测出某一帧中出现的所有行人，然后判断这些行人是否是与前一帧有关联的目标。以某一个行人为例：在Deep-Sort中先使用卡尔曼滤波计算出当前帧该行人(设为轨迹i)在下一帧视频中可能出现的位置，记为y_i。检测出下一帧中出现的行人，第j个检测框设为d_j，将这两值的马氏距离设为第一个测度，即：d⁽¹⁾(i,j)＝(d_j-y_i)^Ts_i^-1(d_j-y_i)。第二个测度为在外观空间中第i个轨迹与第j个检测之间的最小余弦距离，即：d⁽²⁾(i,j)＝min{1-r_j^Tr_k⁽ⁱ⁾|r_k⁽ⁱ⁾∈R_i}。将这两个测度融合成为一个相似度度量，将此度量带入匈牙利分配方法中，找到下一帧中与该轨迹相关联的检测框，即该行人在下一帧中出现的位置。