[发明专利]统一目标运动感知和重识别网络的在线多目标跟踪方法

说明书

统一目标运动感知和重识别网络的在线多目标跟踪方法，涉及计算机视觉技术。A.将当前帧图像与前一帧图像输入到骨干网络，获得两帧图像的特征图；B.将前一帧图像的热力图与步骤A两个特征图送入检测与跟踪分支，得计算当前帧检测结果及目标跟踪偏移量；C.将步骤A两帧图像的特征图送入重识别分支，得嵌入特征向量，存储于重识别特征向量池中；D.根据跟踪偏移量，对步骤B获得的检测结果进行第一次匹配，为已匹配的检测分配对应目标的身份识别；E.对步骤D获得的未匹配检测结果进行第二次匹配，将未匹配检测结果与步骤C获得的嵌入特征向量逐一进行相似性计算，根据设定的阈值，为不同检测结果分配身份识别，即得当前帧最终的跟踪结果。

技术领域

本发明涉及计算机视觉技术，尤其是涉及一种统一目标运动感知和重识别网络的在线多目标跟踪方法。

背景技术

视觉系统是人类获取外界信息十分重要的途径，能够为人类提供丰富的资源信息，多目标跟踪作为计算机视觉领域的一个基本任务，旨在估计序列中特定类别的运动轨迹。近年来，对于多目标跟踪算法的研究已受到越来越多的关注。但是，在密集人群或低帧率视频中，目标容易发生较大运动偏移和相互遮挡、重叠等情况，导致跟踪性能受限。因此，研究目标运动信息、构建简单而有效的重识别网络对在线多目标跟踪方法具有重要意义。

现有的多目标跟踪方法主要可以分为先检测后跟踪和联合检测跟踪两类。第一类方法属于双阶段跟踪方法，主要利用一个单独的检测器检测出每帧图像的目标，然后再使用数据关联算法进行跟踪。Alex Bewley等人(Alex Bewley,Zongyuan Ge,Lionel Ott,Fabio Ramos,andBen Upcroft.2016.Simple online and realtime tracking.InProceedings of theIEEE International Conference on Image Processing(2016),3464-3468)提出Sort方法，利用Faster-RCNN(Shaoqing Ren,Kaiming He,Ross Girshick,and Jian Sun.2017.Faster R-CNN:Towards real-time object detection with regionproposal networks.IEEE Transactions on Pattern Analysis and MachineIntelligence39,6(2017),1137-1149)检测出当前图像的目标边界框，然后使用卡尔曼滤波预测出另一组目标边界框，通过IoU分数将两组边界框进行匹配，从而完成多目标跟踪。Nicolai Wojke等人(Nicolai Wojke,Alex Bewley,and DietrichPaulus.2017.Simpleonline and realtime tracking with a deep associationmetric.In Proceedings of theIEEE International Conference on Image Processing(2017),3645-3649)在Sort方法的基础上训练一个重识别网络用于表观特征提取，同时，使用级联匹配策略进一步对目标边界框进行匹配。GuillemBraso等人(GuillemBraso andLaura Leal-Taixe.2020.Learning a neural solver for multiple objecttracking.In Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition(2020),6247-6257)把每个检测结果看成一个图节点，从而将数据关联问题转化为图网络的优化问题。这类方法将检测和跟踪网络分开处理，导致无法实现端到端优化。第二类方法将检测和跟踪放在同一个框架下，有效地提升跟踪效率。PhilippBergmann等人(Philipp Bergmann,Tim Meinhardt,and Laura Leal-Taixe.2019.Tracking without bells and whistles.InProceedings of the IEEE/CVFInternational Conference on Computer Vision(2019),941-951)利用检测器的回归头部直接实现目标边界框在时间上的修正。Jinlong Peng等人(Jinlong Peng,ChanganWang,Fangbin Wan,Yang Wu,Yabiao Wang and et al.2020.Chained-tracker:Chainingpaired attentive regression results for end-to-end joint multiple-objectdetection and tracking.InProceedings of theEuropean Conference onComputer Vision(2020),145-161)把相邻帧对作为网络输入，在单个回归模型中执行联合检测和跟踪算法，能够进行端到端的检测优化、特征提取。Xingyi Zhou等人(Xingyi Zhou,VladlenKoltun,and Philipp2020.Tracking objects as points.InProceedings of theEuropean Conference on Computer Vision(2020),474-490)将CenterNet(Xingyi Zhou,Dequan Wang,and Philipp2019.Objects aspoints.arXiv preprint arXiv:1904.07850)作为基本的检测网络，预测当前帧与前一帧的中心点偏移量以实现多目标跟踪。这类方法无法关联上已被中断的轨迹，导致身份识别频繁转换。