[发明专利]一种多目标跟踪方法、装置、设备及存储介质

说明书

本发明公开了一种多目标跟踪方法、装置、设备及存储介质，将实时获取的图像帧输入到主干网络进行特征提取，得到当前图像帧的当前特征图；基于提取的当前特征图进行目标检测，确定所述当前特征图的检测特征和检测框的目标位置；采用互相关的运动预测对检测特征进行再对齐，获得与所述检测框准确匹配的目标特征；在预先建立的特征库中查询上一时刻目标的跟踪特征和跟踪位置；根据所述检测框的目标特征和目标位置，以及所述跟踪特征和跟踪位置，进行特征匹配检测和IOU匹配检测；根据特征匹配检测结果和IOU匹配检测结果输出对当前图像帧的跟踪结果，并更新所述特征库。实现实时目标检测追踪的同时，保证优异的特征提取能力和鲁棒性。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种多目标跟踪方法、装置、设备及存储介质。

背景技术

由于在自动驾驶、交通流量监测、监控、机器人、人机交互、医疗诊断系统和活动识别等应用中的广泛应用，目标跟踪受到关注。其具体任务是在已知目标的初始位置的情况下在后续视频帧中确定目标的位置。

现有的基于深度学习的多目标跟踪方案主要有两种，一种是SDE(SeparateDetecting and Embedding，两阶段跟踪方案)，将目标的检测和跟踪任务分开进行，先通过目标检测算法对图像中的目标位置进行检测，再对检测出的目标进行特征提取，并与现有的轨迹进行匹配和链接；另一种是JDE(Joint Detection and Embedding，单阶段跟踪方案)，在进行目标检测的同时，获取目标的特征向量，再根据相关匹配逻辑，从而确定当前目标的轨迹信息。

两阶段跟踪方案有助于处理对象的比例变化，跟踪效果也很好，但是速度很慢，难以对视频进行实时推理。单阶段跟踪方案可以大幅减少推理时间，单阶段跟踪方案精度较差，并且面临分辨率低、视角变化、姿态变化、光线变化以及遮挡等严重影响精度的诸多挑战，单阶段跟踪方案的难以具备较强的特征提取能力和鲁棒性。

发明内容

为了解决上述问题，本发明提出一种多目标跟踪方法、装置、设备及存储介质，实时目标检测追踪的同时，保证优异的特征提取能力和鲁棒性。

本发明实施例提供一种多目标跟踪方法，所述方法包括：

将实时获取的图像帧输入到主干网络进行特征提取，得到当前图像帧的当前特征图；

基于提取的当前特征图进行目标检测，确定所述当前特征图的检测特征和检测框的目标位置；

采用互相关的运动预测对检测特征进行再对齐，获得与所述检测框准确匹配的目标特征；

在预先建立的特征库中查询当前已检测出的所有目标的上一时刻的特征，获取上一时刻目标的跟踪特征和跟踪位置；

根据所述检测框的目标特征和目标位置，以及所述跟踪特征和跟踪位置，进行特征匹配检测和IOU匹配检测；

根据特征匹配检测结果和IOU匹配检测结果输出对当前图像帧的跟踪结果，并更新所述特征库。

优选地，所述基于提取的当前特征图进行目标检测，确定所述当前特征图的检测特征和检测框的目标位置，具体包括：

采用编码器对所述当前特征图进行编码；

将编码后的当前特征图输入到译码器中，利用目标检测模型对编码后的当前特征图进行查询，得到所述当前特征图的检测特征；

通过前向操作获取所述检测特征在所述当前特征图的检测框的坐标，作为所述目标位置。

利用目标检测模型对编码后的当前特征图进行查询作为一种优选方案，所述采用互相关的运动预测对检测特征进行再对齐，获得与所述检测框准确匹配的目标特征，具体包括：

将所述当前特征图的检测特征Ft与全局特征St进行逐通道的互相关操作，计算两者的相关性；