[发明专利]一种基于联合检测与表征提取的多目标跟踪系统和方法

说明书

本发明公开了一种基于联合检测与表征提取的多目标跟踪系统及方法，涉及计算机视觉跟踪领域，包括联合检测与表征提取模块、轨迹预测模块和候选框筛选模块，其中联合检测与表征提取模块由主干网络、区域选择网络、目标边界框回归器以及表征提取器构成。本发明通过该技术方案降低了待训练网络参数的量级及计算代价，提高了算法效率和多目标跟踪的精度。

技术领域

本发明涉及计算机视觉跟踪领域，尤其涉及一种基于联合检测与表征提取的多目标跟踪系统和方法。

背景技术

随着互联网技术的蓬勃发展和智能手机、计算机等设备性能的不断提高与制造成本的持续降低，丰富的图像与视频数据每时每刻都在不断产生。正如一句俗语所说，“一图胜千言”，海量的图像与视频中蕴含了巨大的有价值的信息。如何迅速准确地利用这些数据成为了一个亟需解决的问题。现如今迅速发展的计算机视觉技术能够利用计算机强大的运算能力，代替人眼处理图像数据。目前，计算机视觉技术已经成为众多领域的核心技术。

多目标跟踪(Multi-object tracking,MOT)是计算机视觉领域中的一个重要研究方向，其任务是从视频序列中持续跟踪定位多个目标，如街道上的行人、路上的车辆等，同时保持他们的身份信息不变，进而得出每个目标的运动轨迹。多目标跟踪不仅能够准确地检测视频中目标的时空信息，而且能够为姿势预测、动作识别、行为分析等提供诸多有价值的信息。多目标跟踪算法在智能视频监控、自动驾驶、智能机器人、智能人机交互、智能交通、体育视频分析等领域中都具有广泛的应用，并且近年来已经成为研究的热门方向。

多目标跟踪问题是单目标跟踪问题的扩展。给定一特定目标，单目标跟踪的任务是从场景中持续跟踪该目标。多目标跟踪的任务是在场景中跟踪一系列感兴趣的目标，例如场景中的行人车辆等。因此，相比于单目标跟踪，多目标跟踪还需要额外完成两个任务：

(1)判断场景中目标的数量变化，并且完成新轨迹的初始化与旧轨迹的终止；

(2)保持跟踪目标的身份信息。

目前，基于检测的跟踪是多目标跟踪的主流范式，可分为如下两个相互独立的子任务：

·目标检测，检测当前图像中的目标位置；

·数据关联，将检测结果与已存在的轨迹相互关联。

研究人员通常直接使用预训练好的目标检测模型，因此视频多目标跟踪问题转化为基于检测结果的数据关联问题。为了获得最优的关联结果，作为数据关联的两大关键环节的关联代价与优化算法则成为了基于检测的跟踪算法的研究重点。

国内专利“多目标跟踪方法、装置、电子设备及存储介质”(申请号为202010573301.9)设计了一个初步的多目标跟踪方法，但是其并未考虑场景中目标之间频繁遮挡的问题，这将导致轨迹频繁发生断裂。国内专利申请号为202010605987.5的名称为“一种集成目标检测和关联的行人多目标跟踪方法”提出了能够同时进行目标检测与目标特征提取的模型，但其目标关联步骤仅仅采用了较为简单的阈值判别法，这将导致该方法在多个较为相似目标同时出现的场景中，无法得到目标之间最优的匹配结果。

国内专利“一种基于目标中心点的车辆多目标跟踪方法”(申请号为20201059041.1)，通过将车辆检测模型和跟踪模型集成在一个网络中，大大减少了计算量和运行时间，同时简化了基于跟踪的检测，但该方法在数据关联步骤仅仅利用了目标之间的位置信息，同时只采用了较为简单的贪婪匹配法，这将导致该方法在目标密度较大的场景下性能较差。

因此，本领域的技术人员致力于开发一种基于联合检测与表征提取的多目标跟踪系统和方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是：1、如何在保持算法精度的前提下提高算法的运算速度；2、如何将目标检测与数据关联两大环节有机结合，通过全面地利用信息来提高跟踪精度。