[发明专利]多目标实时跟踪方法及其系统和电子设备

权利要求书

1.多目标实时跟踪方法，其特征在于，包括步骤：

在第一线程中，通过光流法根据被跟踪物体在视频流的上一帧图像中的位置计算该被跟踪物体在该视频流的当前帧图像中的位置，以获得在该当前帧图像中跟踪到的每个该被跟踪物体的身份标识，使得目标跟踪过程在一个独立线程中运行；

在第二线程中，通过训练好的基于深度学习的目标检测模型对该视频流中的部分帧图像进行目标检测处理，以获得候选跟踪物体，使得目标检测过程在另一个独立线程中运行；以及

根据该候选跟踪物体，更新在该当前帧图像中需要跟踪的该被跟踪物体；

其中，所述在第二线程中，通过训练好的基于深度学习的目标检测模型对该视频流中的部分帧图像进行目标检测处理，以获得候选跟踪物体的步骤，包括步骤：

在输入该视频流中的当前帧图像时，判断该基于深度学习的目标检测模型是否正在运行；

响应于该基于深度学习的目标检测模型正在运行，跳过检测该当前帧图像；以及

响应于该基于深度学习的目标检测模型未运行，通过该基于深度学习的目标检测模型对该当前帧图像进行目标检测处理，以得到该候选跟踪物体。

2.如权利要求1所述的多目标实时跟踪方法，其中，所述在第一线程中，通过光流法根据被跟踪物体在视频流的上一帧图像中的位置计算该被跟踪物体在该视频流的当前帧图像中的位置，以获得在该当前帧图像中跟踪到的每个该被跟踪物体的身份标识的步骤，包括步骤：

根据该被跟踪物体的包围框的中心，计算该被跟踪物体的该包围框内光流特征点的位移平均值和相对于该包围框的中心的缩放平均值；

将该位移平均值和该缩放平均值叠加至该被跟踪物体在该上一帧图像中的包围框位置，以得到该被跟踪物体在该当前帧图像中的包围框位置；以及

根据所有的该被跟踪物体在该当前帧图像中的包围框位置，确定每个该被跟踪物体的身份标识。

3.如权利要求2所述的多目标实时跟踪方法，其中，所述根据该被跟踪物体的包围框的中心，计算该被跟踪物体的该包围框内光流特征点的位移平均值和相对于该包围框的中心的缩放平均值的步骤，包括步骤：

通过对该当前帧图像进行FAST特征点检测处理，获得初始特征点；

基于该初始特征点，通过Lucas-Kanade算法计算光流，以获得该光流特征点的位置；

根据该被跟踪物体的包围框位置和该光流特征点的位置，以该包围框的中心为中心点，计算在该包围框内每个该光流特征点相对于该中心点的缩放值的平均值，以获得该缩放平均值；以及

根据该被跟踪物体的包围框位置和该光流特征点的位置，计算在该包围框内每个该光流特征点的位移值的平均值，以获得该位移平均值。

4.如权利要求3所述的多目标实时跟踪方法，其中，所述根据所有的该被跟踪物体在该当前帧图像中的包围框位置，确定每个该被跟踪物体的身份标识的步骤，包括步骤：

计算每个该被跟踪物体在该当前帧图像和该上一帧图像之间的相关性系数；

响应于该相关性系数大于预定关联阈值，将相应的该被跟踪物体在该当前帧图像中的包围框位置作为检测物体的边框位置；以及

根据该检测物体的边框位置，通过简单的在线实时跟踪方法计算并匹配在前后帧图像中物体的身份标识，以获得每个该被跟踪物体的身份标识。

5.如权利要求1至4中任一所述的多目标实时跟踪方法，其中，所述根据该候选跟踪物体，更新在该当前帧图像中需要跟踪的该被跟踪物体的步骤，包括步骤：

检测是否存在已有的被跟踪物体；

响应于存在该已有的被跟踪物体，计算该候选跟踪物体与该已有的被跟踪物体之间的交并比；

响应于该交并比大于预定交并比阈值，比较该候选跟踪物体的置信度得分与该已有的被跟踪物体的置信度得分的大小；

响应于该已有的被跟踪物体的置信度得分不小于该候选跟踪物体的置信度得分，将该已有的被跟踪物体作为在该当前帧图像中需要跟踪的该被跟踪物体；以及

响应于该已有的被跟踪物体的置信度得分小于该候选跟踪物体的置信度得分，或该交并比不大于该预定交并比阈值，或不存在该已有的被跟踪物体，将该候选跟踪物体作为在该当前帧图像中需要跟踪的该被跟踪物体。