[发明专利]一种基于深度学习的高速跨摄像头单目标跟踪方法及系统

说明书

一种基于深度学习的高速跨摄像头单目标跟踪方法，涉及计算机视觉技术领域，解决现有技术以多摄像头多目标跟踪，需要对所有轨迹片提取特征并全局关联，而无法只对部分数据处理的问题，本发明包括建立行人检测模型；单相机内多目标跟踪，基于卡尔曼滤波算法进行多目标跟踪；轨迹片代表图片筛选；采用预先训练好的行人再识别模型提取行人外观特征；在单摄像头域内，设计搜索约束条件和关联；设计的跨摄像头轨迹方向约束以及基于轨迹方向约束的跨摄像头轨迹关联的步骤实现单目标跟踪。实验结果和分析表明本发明所述的跟踪方法取得较好的实时性和准确性。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于深度学习的高速跨摄像头单目标跟踪方法及系统。

背景技术

多摄像机目标跟踪是计算机视觉领域的研究热点。其任务目的是在多个视域不重叠的摄像头中找到某个特定的行人轨迹。由于每个摄像头的场景和光照不同，行人姿态各异，存在互相遮挡的情况，使得任务面临多重挑战。

以往跨摄像头跟踪研究以多摄像头多目标跟踪(MTMCT)任务场景为主，而单目标跨摄像头跟踪任务常被忽视。虽然前者包含后者，但两者存在不同的应用场景。以NLPR MCT挑战的跟踪任务为例。大多数算法着力于提升跟踪精度，通常会对所有轨迹片提取特征并全局关联。这些全局信息给整体MTMCT任务带来性能提升。但对于单个行人的跨摄像头跟踪应用，许多处理对实时性是有害的。如单目标跟踪时不希望行人消失后算法仍对其他行人做处理，而全局方法需要全局信息关联无法只对部分数据处理。此外，目前MCT算法需要跟踪总人数这一关键先验信息。这种信息对现实跟踪任务来说难以实现。

发明内容

本发明为解决现有技术以多摄像头多目标跟踪，需要对所有轨迹片提取特征并全局关联，而无法只对部分数据处理的问题，提供一种基于深度学习的高速跨摄像头单目标跟踪方法。

基于深度学习的高速跨摄像头单目标跟踪方法，该方法由以下步骤实现：

步骤一、采用行人检测模型检测行人目标，输出每个摄像头下每个行人的检测框位置大小及检测得分；

步骤二、采用步骤一获得的检测框的交并比为依据，基于卡尔曼滤波算法进行多目标跟踪，获得运动轨迹集合；

步骤三、根据步骤二获得的运动轨迹集合，采用轨迹代表图片进行筛选，获得轨迹特征中行人检测得分高的轨迹图片，筛选规则为：

I＝argsort(s)

I′＝{l|l∈I and S_l＜a}

式中，s为行人在轨迹中每帧的行人检测得分，S_l为行人在轨迹中第l帧的行人检测得分,I为按得分降序排名的索引集合，α为检测得分阈值筛选，I′为初次筛选后的图片索引，选取轨迹时间戳间隔最长的三张轨迹图片，使行人位置差异最大化，最终得到代表轨迹中行人检测得分较高且位置多样的轨迹图片获得轨迹特征中行人检测得分高的轨迹图片；

步骤四、采用预先训练好的行人再识别模型对步骤三获得的轨迹图片提取行人外观特征；

步骤五、在单摄像头域内，设定搜索约束条件和轨迹关联，将搜索范围内余弦距离最小的轨迹图片作为匹配轨迹，采用所述匹配轨迹进行关联，获得关联后的轨迹集合；

步骤六、对步骤五获得的关联后的轨迹集合，设计跨摄像头轨迹局部二部图关联的方向约束条件，最终匹配建立时空约束条件；

步骤七、根据步骤六的时空约束条件，基于轨迹方向约束的跨摄像头轨迹关联，采用匈牙利法寻找使所有匹配距离之和最小的匹配关联，如果命中目标，则关联成功；否则关联失败，终止该目标的跟踪。

基于深度学习的高速跨摄像头单目标跟踪系统，包括行人检测模块，单相机内多目标跟踪模块，行人再识别模型特征提取模块以及轨迹关联模块；