[发明专利]基于ReID特征的强数据关联一体化实时多目标跟踪方法

说明书

本发明公开了一种基于ReID特征的强数据关联一体化实时多目标跟踪方法，构建并训练检测跟踪一体化模型，包括检测器模块、不同尺度的互相关网络CCN模块、不同尺度的检测头部模块和尺度感知注意力网络SAAN模块，互相关网络CCN模块对于对检测器模块输出的特征图进行分离处理，得到两个特征图分别输入至检测头部模块和尺度感知注意力网络SAAN模块进行目标检测和ReID特征获取，对需要进行多目标跟踪视频序列的每帧图像采用检测跟踪一体化模型获取当前帧的目标检测结果和ReID特征，采用预设的跟踪机制获取各个目标的跟踪结果。本发明采用互相关网络CCN模块将检测和ReID解耦为分离分支，提高不同分支所需的特征表示，以提高在行人多目标跟踪任务中的跟踪性能。

技术领域

本发明属于计算机视觉技术领域，更为具体地讲，涉及一种基于ReID特征的强数据关联一体化实时多目标跟踪方法。

背景技术

多目标跟踪技术结合了模式识别、机器学习、计算机视觉、图像处理以及计算机应用等多个学科，构成了一种在连续视频帧中获取多个目标位置并与之前目标轨迹序列做数据关联的手段，为后续的高层识别应用比如视频内容理解以及目标行为分析奠定了基础。目前，多目标跟踪技术广泛应用于智能交通、行为分析、人机交互、智能监控、智能驾驶系统等领域中，有着广泛的应用前景及巨大的潜在经济价值。而行人作为实际生活中存在最为广泛的对象，如何在公共场所及重要的工业生产等环境中实现对多个行人目标稳定长时的跟踪一直是计算机视觉领域中的热门应用问题。

随着深度学习的发展，多目标跟踪方法越来越依赖于高性能的目标检测器以及行人重识别(ReID)模型，现在主流的方案都是基于在检测上进行跟踪的范式来实现。这一类方法将多目标跟踪任务分为两个单独的任务来做，如Sort，Deepsort，POI等。第一步是通过检测获取每一帧行人目标的位置并预测框的尺度，第二步通过提取每一个目标框内的ID相关信息来做帧间匹配。这一类方法十分灵活，性能优异的目标检测器和行人重识别模型相互搭配就可以获得很好的性能。但是这也意味着这一类多目标跟踪系统中要包含两个计算密集的组件，尤其是对每一个检测框都需要运行一次ReID模型，这会花费大量时间进行推理，并不能达到实时。随着多任务的发展，将检测器和ID特征提取网络集成为一个统一的多目标跟踪系统得以构建，其中以JDE、RetainTrack为代表。它们多数将ID特征提取网络作为一个分支添加到检测器上来同时获得检测结果和对应的ReID特征，这种结构减少了模型参数和计算量，速度获得了很大的提升。不幸的是，与二步方法相比，它们的跟踪性能要较低一些。

除此之外，还存在一些新颖的联合检测和跟踪的一体化模型，它们通过非ReID信息来完成数据关联工作，如CenterTrack通过上一帧的检测信息利用下一帧的特征进行位置回归实现帧间关联，CTracker设计了链式模型结构，将相邻两帧作为输入，直接输出检测和关联结果，TubeTK将视频分割为三维输入，通过3D卷积挖掘帧与帧之间的关联信息。这一类方法简单且在MOT(Multiple Object Tracking，多目标跟踪)challange有不俗的表现，但是与基于ReID网络的两阶段方法相比，其数据关联能力依然有较大差距。

经过分析，一体化模型尤其是基于ReID方法的一体化模型性能退化主要来自于以下两方面原因：

1)检测和ReID任务之间的过度竞争：在一体化多目标跟踪方法中，通常用一段共享的嵌入向量来表示对象类置信度、目标尺度和ID信息。虽然效率很高，但不同任务之间的内在差异却被忽略了。这会造成学习的混淆，即为了获得一个任务的高性能造成另一个任务的停滞或者退化。具体来说，检测任务最理想的状态是同一类别的不同对象具有相同的语义，且与背景点位置的嵌入信息有高区分度，类内趋同。而在ReID任务中却要同一类别的不同对象具有高度区分的语义，有类内区分性，这和检测的最终目的是相矛盾的。