[发明专利]一种使用深度关联度量的行人多目标跟踪方法

说明书

本发明公开一种使用深度关联度量的行人多目标跟踪方法，包括S1、使用一个预训练过的模型，在已知行人检测数据集上训练并微调，作为目标检测器；S2、搭建特征提取网络，在行人重识别数据集上训练，用于提取目标外观信息；S3、对视频中每一帧使用目标检测器检测，并对每个目标进行轨迹处理和状态估计，用于提取目标运动信息；S4、将每帧中框选出目标的运动信息和外观信息集成来与上一帧的候选框进行匹配，本发明采用神经网络来进行检测，提高准确性的同时将运动信息和外观信息集成起来，对被遮挡目标的追踪效果大大提升，提高了匹配精度，同时使用级联匹配能够通过更长的闭塞周期来跟踪对象，从而有效地减少身份切换的次数，提高了系统的鲁棒性。

技术领域

本发明涉及多目标跟踪技术领域，尤其涉及一种使用深度关联度量的行人多目标跟踪方法。

背景技术

智能视频监控技是计算机视觉领域近年来新兴的一个研究方向，它融合了图像处理、模式识别、人工智能以及自动控制等不同领域的先进技术，将计算机视觉同网络化的视频监控结合起来，实现视频中运动目标的检测、识别、跟踪和行为分析等功能。其中，行人多目标跟踪是智能视频监控领域的难点，因为行人在移动时比车辆更具灵活性并且行人时非刚体，轮廓特征在不断变化，不易提取，这给追踪的准确性以及算法的计算复杂度带来了诸多问题，且实际应用中行人跟踪更具有商业价值。

Tracking By Detection使用目标检测算法将每帧中感兴趣的目标检测出来，得到对应的位置坐标、分类、可信度等指标，假设检测到的通过某种方式将上一步中的检测结果与上一帧中的检测目标一一关联起来，在Tracking By Detection中最关键的是检测算法和如何进行数据关联。

由于卷积神经网络(简称CNN)的发展和应用，许多计算机视觉领域的任务得到了较大的发展，同时基于CNN的许多目标方法也被应用于解图像识别的问题。然而常见的数据关联方法却往往做不到，在本发明中，我们将外观信息集成起来，能够在更长的闭塞周期来跟踪对象，从而有效地减少身份切换的数量。

发明内容

针对上述问题，本发明提出一种使用深度关联度量的行人多目标跟踪方法，主要解决背景技术中的问题。

本发明提出一种使用深度关联度量的行人多目标跟踪方法，所述方法包括以下步骤：

S1、使用一个预训练过的模型，在已知行人检测数据集上训练并微调，作为目标检测器；

S2、搭建特征提取网络，在行人重识别数据集上训练，用于提取目标外观信息；

S3、对视频中每一帧使用目标检测器检测，并对每个目标进行轨迹处理和状态估计，用于提取目标运动信息；

S4、将每帧中框选出目标的运动信息和外观信息集成来与上一帧的候选框进行匹配。

进一步改进在于，所述S1具体包括：

S11、获取行人检测数据集Caltech Pedestrian Detecion,并随机分成六等分；

S12、使用已经在ImageNet上预训练过的模型，在行人检测数据集上采用6-fold交叉验证训练，并调整参数作为目标检测器。

进一步改进在于，所述S2具体包括：

S21、获取大规模ReID数据集，按比例划分为训练集、测试集和验证集；

S22、在训练集上进行训练，最终输出128维特征向量；

S23、标准化后将特征向量投影到一个超球面。

进一步改进在于，所述S3具体包括：

S31、对视频中的每一帧使用目标检测器检测，将画面中的行人用候选框标注出来；