[发明专利]一种基于孪生网络和反向传播的车辆实时跟踪方法

说明书

本发明涉及基于孪生网络和反向传播的车辆实时跟踪方法，属于智能交通管理技术领域，本发明首先设计了基于孪生网络的前向位置预测，以减少错误检测的干扰，同时进行了反向预测进行验证，以减少前向位置预测方法产生的误匹配，最后基于检测器置信度和前向位置预测置信度得分，通过加权融合的方法得到最终轨迹。本发明具有速度快，跟踪准确率高等优点，适于推广应用。

技术领域

本发明属于智能交通管理技术领域，涉及一种基于孪生网络和反向传播的车辆实时跟踪方法。

背景技术

车辆跟踪是智能交通系统(ITS)的关键技术。它为交通流预测、车辆监控、道路状况分析等应用提供了基础信息。与一般的多目标跟踪(MOT)相比，车辆的运动通常比人的更为规律，这似乎有利于跟踪任务。然而，由于至少两个原因，车辆跟踪面临着更多的挑战。首先，由于车型数量有限，车辆之间的外观相似度普遍高于人。其次，特别是在城市道路上，拥挤的交通常常造成极为严重的车辆间遮挡。现今大多数跟踪器遵循基于检测的跟踪策略，该策略通过相邻帧间的检测器检测结果来进行目标关联。不难理解得是，这种策略的可靠性在很大程度上取决于检测器的精度。然而，由于环境复杂，检测输出往往是存在噪声的。为了解决这一问题，结合多种特征如外观特征和语义特征等的方法被相继提出。

随着深度学习的发展，许多基于深度神经网络的跟踪器被提出用于单目标跟踪(SOT)。其中，一种叫做孪生神经网络的网络结构引起了人们的广泛关注。孪生网络由两个分支组成，一个是以历史帧中的跟踪目标作为输入的模板分支，另一个把当前帧的图像作为输入的检测分支。将这两个分支结合起来，通过提取跟踪对象的深层特征，然后进行卷积运算得到最终得分。得分最高的位置则被认定为目标的跟踪结果。

直观地说，车辆跟踪可以通过直接叠加多个SOT跟踪器来完成。然而，SOT跟踪器在跟踪过程中容易因车辆外观相似性高、遮挡严重而产生混淆，容易导致目标漂移甚至出现虚假目标。一种可行的方法是将SOT跟踪器集成到上述基于检测的跟踪策略中，以减少检测中产生的噪声的干扰，从而增强跟踪的鲁棒性。于是本发明提出通过基于SOT的前向位置预测来校正关联阶段的检测结果。但是，在严重遮挡的情况下，检测器还是会混淆正向预测结果，导致误检率增加。

发明内容

有鉴于此，本发明的目的在于提供一种实时，跟踪准确度高的基于孪生网络和反向预测的车辆跟踪方法，通过孪生神经网络框架进行车辆目标前向位置预测，以及利用反向预测验证的方法和加权融合方法来提升在车辆被严重导致检测器产生的错误检测或漏检情况下的性能。

为达到上述目的，本发明提供如下技术方案：

一种基于孪生网络和反向传播的车辆实时跟踪方法，包括以下步骤：

步骤1：根据输入视频的第一帧图像，初始化激活轨迹集合，保留轨迹集合和结束轨迹集合；

步骤2：把第一帧由检测器得到的检测结果作为激活轨迹里各目标的初始位置；

步骤3：针对下一帧图像，利用激活轨迹里的目标图像和当前帧的图像作为单目标跟踪器SOT的输入，得到预测的目标位置；

步骤4：求取预测目标包围框与检测结果里的候选框之间的重叠面积IOU；

步骤5：选取具有最大IOU的检测结果，如果其与预测结果的IOU大于阈值，则把检测结果当作前向位置预测输出，否则把由SOT预测得到的结果当作前向位置预测的输出；

步骤6：如果前向位置预测结果与前一帧的IOU小于阈值，则将该目标轨迹放入保留轨迹集合，然后开始新一轮的目标跟踪；

步骤7：对于满足条件的前向位置预测结果，将其预测目标图像和前一帧图像当作SOT输入，反向预测在目标前一帧中的位置；

步骤8：如果反向预测验证结果与前一帧中该目标位置满足阈值条件，则认为由前向位置预测得到的结果是准确的，否则把由SOT前向预测的结果当作经过后向预测验证的结果；