[发明专利]基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法

说明书

本发明公开了一种基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法。首先，使用基于YOLOX的目标检测网络对视频序列当前帧目标进行初步检测得到检测结果；进一步使用核自适应滤波器作为非线性跟踪器，以目标的历史位置和尺寸状态信息为输入，对目标当前帧的位置和尺寸的状态信息进行预测，得到预测结果；然后利用运动相似度与外观相似度对检测结果和预测结果进行第一重匹配；对未匹配成功的结果采用颜色空间特征相似度进行第二重匹配；为了进一步增强匹配准确性，对还未匹配成功的结果继续采用完全交并比指标CIoU进行第三重匹配，完成对当前帧的所有目标的跟踪，不断循环以上过程完成对整个视频序列中的多目标的持续检测及跟踪。

技术领域

本发明涉及计算机视觉技术领域，更具体的说是涉及一种基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法。

背景技术

目前，随着人们对智能安防与交通安全的需求不断增加，目标跟踪技术在视频监控以及自动驾驶等领域的发展也逐渐加快。以上领域的场景中通常存在多个机动目标，仅仅对单帧图像进行目标检测或者是对视频序列所有帧使用单目标跟踪的效果都无法满足实际需求。这是因为对单一帧进行目标检测只能实现识别而不能建立前后帧目标的关联关系；在相邻图像之间进行单目标跟踪，只能实现单一目标的跟踪预测而不能进行识别。因此目前常用的多目标跟踪方法大多是和检测器相结合，这些方法主要分为两类：一是基于初始标注框的跟踪，另一种是基于检测的跟踪。基于初始标注框的跟踪方法需要在视频序列的初始帧中手动标注目标进行初始化，然后在帧间运行检测器完成目标检测，在检测的同时去找寻与初始化的标注最相似的区域作为跟踪的依据，但是此种方法的缺点也相对明显，基于手动标注初始帧的方式导致跟踪方法只能对初始帧中出现的目标进行跟踪，而多目标跟踪本身就存在新旧目标出现消失的场景，所以该方法对后续中间帧进入视野的目标自然无法处理，同时如果初始帧手动标注出现遗漏会造成跟踪结果的不稳定。二是基于检测的跟踪方法，该方法包括当前帧独立的目标检测过程、跟踪器对目标下一帧位置预测过程以及基于特征匹配的数据关联过程，最终可以对检测结果与跟踪的轨迹进行正确匹配连接。基于检测的跟踪方法的特点是跟踪目标的数量以及类型比较依赖于检测的效果，当检测效果相对比较差的时候，跟踪方法的性能较差，但是可以通过训练更有效的目标检测网络增强检测的准确性、引入非线性估计精度更高的滤波模型提高目标预测精度以及优化检测结果与跟踪结果的关联策略提高数据匹配精度，最终可以提高基于检测的多目标跟踪方法性能，降低方法的不稳定性。

为了实现对机动多目标的正确跟踪，重点要解决目标尺寸小、相互遮挡以及运动模式多变等问题。结合基于检测的多目标跟踪框架，需要从以下几个方面对跟踪方法进行增强：①目标检测器：提升外观、运动等特征的建模精度，增强对不同帧图像中同一目标的识别能力。但是基于深度学习的目标检测网络一般参数量比较大，要实现精准的预测需要比较长的推理时间，对多目标跟踪方法的实时性影响比较大，因此需要采用轻量且高效的目标检测网络模型。②目标运动跟踪器：特征不够明显的目标在进行复杂运动时需要跟踪器具有更高的预测精度，因此跟踪器需要具有高效通用的非线性逼近能力。③数据关联匹配：在进行前后帧的数据关联时需要保证方法的匹配精度以及效率，匹配精度的提高依赖于更有效的关联指标以及跟踪框、检测框对应区域特征向量提取精度；匹配效率的提高需要优化数据关联逻辑，减少对同一个目标的无用判断。只有加强以上三个环节，才能够高效地解决目标在遮挡、背景复杂、特征不明显场景下的跟踪精度问题。

因此，如何实现对机动多目标的正确跟踪是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于核自适应滤波与YOLOX检测结合的机动多目标跟踪方法，使用目标检测网络YOLOX对视频序列当前帧目标进行初步检测得到检测结果。进一步使用核自适应滤波器作为跟踪器，以目标的历史位置尺寸信息为输入，对目标当前帧的状态信息进行非线性预测，得到预测结果。然后利用运动相似度与外观相似度对检测、跟踪结果进行第一重匹配。对未匹配成功的结果采用颜色空间特征相似度进行第二重匹配。为了增强匹配准确性，采用CIoU指标对还未匹配成功的结果进行第三重匹配，完成对当前帧目标的跟踪，不断循环以上过程完成整个视频序列的目标跟踪。