[发明专利]多目标实时跟踪方法及其系统和电子设备

说明书

一种多目标实时跟踪方法及其系统和电子设备。该多目标实时跟踪方法包括步骤：在第一线程中，通过光流法根据被跟踪物体在视频流的上一帧图像中的位置计算该被跟踪物体在该视频流的当前帧图像中的位置，以获得在该当前帧图像中跟踪到的每个该被跟踪物体的身份标识；在第二线程中，通过训练好的基于深度学习的目标检测模型对该视频流中的部分帧图像进行目标检测处理，以获得候选跟踪物体；以及根据该候选跟踪物体，更新在该当前帧图像中需要跟踪的该被跟踪物体。

技术领域

本发明涉及目标跟踪技术领域，尤其是涉及多目标实时跟踪方法及其系统和电子设备。

背景技术

近年来，诸如AR(Augmented Reality，增强现实)眼镜等等之类的近眼显示光学系统为人类创造了丰富的视感体验。为了进一步提升用户体验，该近眼显示光学系统也需要具备物体识别功能，即用于近眼显示光学系统的多目标跟踪方法，以通过该近眼显示光学系统上配置的图像传感器采集场景图像，并计算识别场景中的物体，如人、笔记本电脑、椅子、杯子、瓶子、书以及手机等等。而为了能够关联物体在前后帧的信息，现有的多目标跟踪方法除了能够输出物体在每一帧的位置包围框之外，还需要输出物体的身份标识(即ID)，以实现每一个被识别的物体的多目标跟踪。

目前，多目标跟踪方法按照是否融合目标检测结果，通常可以分为两类：基于检测的跟踪方法(英文Detection-Based Tracking；简称DBT)和与检测无关的跟踪方法(英文Detection-Free Tracking；简称DFT)。该与检测无关的跟踪方法通常需要在视频中人为地初始化一些目标的位置，然后利用跟踪算法逐帧跟踪这些目标，找到这些目标在视频中接下来的每一帧的位置。该基于检测的跟踪方法则不需要人工初始化目标位置，但需要目标检测器对视频中每一帧图像进行检测，并利用跟踪算法将每一帧检测的结果关联起来，最终得到目标的跟踪结果。

然而，由于该与检测无关的跟踪方法不依赖目标检测器，因此一旦出现频繁遮挡、尺寸变化、出平面旋转或光照变化等情况导致跟踪漂移后，就很难获得正确的跟踪结果。而该基于检测的跟踪方法则可以利用检测结果来修正跟踪结果，从而维持持续稳定地跟踪，使得基于检测的跟踪方法受到越来越多的关注，已经成为多目标跟踪领域的主流框架。

但现有的基于检测的跟踪方法均是基于每一帧均存在检测结果为前提，并且目前效果较好的目标检测器主要是利用深度学习模型构建的，而深度学习模型具有模型层数多、卷积计算量大以及计算耗时长的特点，导致目标检测器在诸如AR眼镜或手机等移动端运行时难以达到实时。因而，现有的基于检测的跟踪方法无法计算每一帧的检测结果，进而该现有的基于检测的跟踪方法无法实现实时的多目标跟踪。

发明内容

本发明的一优势在于提供一多目标实时跟踪方法及其系统和电子设备，其能够实现实时的多目标跟踪，以便在诸如AR眼镜或手机等移动端充分应用。

本发明的另一优势在于提供一多目标实时跟踪方法及其系统和电子设备，其中，在本发明的一实施例中，所述多目标实时跟踪方法能够将利用光流法的目标跟踪过程和利用深度学习的目标检测过程分别在不同线程中运行，以在充分利用深度学习在目标检测效果和精度上的优势的同时，又能够实现多目标的实时跟踪。

本发明的另一优势在于提供一多目标实时跟踪方法及其系统和电子设备，其中，在本发明的一实施例中，所述多目标实时跟踪方法创造性地提出利用光流跟踪法提供的物体位置信息作为检测信息，以实时地确定不同物体的身份标识，进而实现多目标的实施跟踪。

本发明的另一优势在于提供一多目标实时跟踪方法及其系统和电子设备，其中，在本发明的一实施例中，所述多目标实时跟踪方法创造性地提出将基于深度学习的目标检测模型在独立线程中运行，而不需要考虑其是否能够处理每一帧图像，以便解决现有的基于检测的跟踪方法对每一帧图像均要检测的问题，进而确保多目标实时跟踪的实现。