[发明专利]基于多功能聚合和跟踪模拟训练的在线多目标跟踪方法

说明书

本发明公开了基于多功能聚合和跟踪模拟训练的在线多目标跟踪方法，属于计算机视觉技术领域。所述方法设计了一个聚合多个功能模块的网络结构，利用ECC与Kalman滤波器的融合模式作为运动模型，同时本申请采用了一种端对端的训练方法，利用目标的预测位置和真实位置扩充训练数据，最后，采用融合了目标历史外观信息的指标损失来训练网络中的外观提取模块。本发明方法能够提高各个功能模块之间的兼容性以及对于多目标跟踪任务的适应性，改善模型的身份保存能力，具有较好的在线多目标跟踪性能。

技术领域

本发明涉及基于多功能聚合和跟踪模拟训练的在线多目标跟踪方法，属于计算机视觉技术领域。

背景技术

多目标跟踪(Multiple Object Tracking,MOT)是一个计算机视觉任务，目的是在没有任何关于目标的外观和数量的先验知识下，分析视频以识别和跟踪属于一个或多个类别的目标，如行人、汽车、动物和无生命的物体等。MOT任务在计算机视觉中扮演着重要的角色：从视频监控到自动驾驶汽车，从动作识别到人群行为分析，许多这些问题都将受益于高质量的多目标跟踪技术。

根据处理数据的方式，多目标跟踪算法可以被分为两类：一类是在线跟踪，仅处理当前的视频帧，其适用于例如自动驾驶等实时任务。另一类是离线跟踪，利用了整个视频帧的数据。虽然，离线的方法显示出了比在线跟踪算法更好的表现，但是其通常不适用于时间关键型应用。原因在于离线的方法通常采用了全局优化过程，其计算开销较大。

在线多目标跟踪技术中，随着目标检测器的发展，基于检测的跟踪技术已经在多个领域取得了成功，然而遵循该策略的方法非常依赖检测结果，在检测结果不佳，例如出现误检和漏检时，会导致相应的跟踪算法出现虚警和漏警。一些方式引入了单目标跟踪器在当前帧中对某一目标进行跟踪，然后与检测进行匹配，以解决漏检的问题。例如文献(Q.Chu,W.Ouyang,H.Li,X.Wang,B.Liu,N.Yu,Online multi-object tracking usingCNN-based single object tracker with spatial-temporal attention mechanism,in:Proceedings of the IEEE International Conference on Computer Vision,2017,pp.4836-4845.)利用了基于CNN的单目标跟踪器将上一帧的目标回归到当前帧，并采用了一种时空注意力机制进行关联。

然而，上述结合单目标跟踪的算法在处理遮挡目标时，容易发生跟踪漂移，从而导致虚警的数量增加。针对误检，文献(Y.-C.Yoon,A Boragule,Y.-M.Song,K Yoon,M Jeon,Online multi-object tracking with historical appearance matching and sceneadaptive detection filtering,in:Proceedings of the IEEE Internationalconference on advanced video and signal based surveillance,2018,pp.1-6.)提出利用历史外观匹配方法以及通过2步训练的联合输入孪生网络来强化误检带来的不确定目标状态，从而防止跟踪失败。和上面这篇文献不同，Tracktor(P.Bergmann,T.Meinhardt,L.Leal-Taixe,Tracking without bells and whistles,in:Proceedings of the IEEEinternational conference on computer vision,2019,pp.941-951.)利用了基于检测任务进行预训练的faster-RCNN中的回归网络，来细化运动模型的预测位置以及检测集提供的检测结果，提供更精确的目标位置，强化了算法对于误检的鲁棒性。而针对由于遮挡导致的漏检，Tracktor采用了扩展的ReID网络提取目标的外观特征并保存为历史外观特征，然后在目标重新出现时通过外观模型的匹配来恢复其身份。通过解决检测中的误检和漏检，Tracktor在MOTChallenge上取得了当时的state-of-the-art跟踪结果。