[发明专利]基于关联检测和编码网络的多目标跟踪方法

说明书

本发明提供一种基于关联检测和编码网络的多目标跟踪方法，属于图像识别领域。包括：将视频流的每一帧图像的目标检测框中满足预设条件的目标检测框作为关键目标检测框，确定关键目标检测框的身份特征向量，计算每一帧图像的关键目标检测框的身份特征向量与前一帧图像的关键目标检测框的身份特征向量在欧氏空间中的距离形成第一关联矩阵，以确定每一帧图像的关键目标检测框与前一帧图像的关键目标检测框的关联关系，将每一帧图像的关键目标检测框与前一帧图像的关键目标检测框对应关联，形成视频流中每一帧图像的各关键目标检测框的运动轨迹。解决多目标跟踪方法在联合训练检测和身份特征编码时无法合理地一起训练的问题。

技术领域

本发明涉及图像识别领域，具体地涉及一种基于关联检测和编码网络的多目标跟踪方法。

背景技术

多目标跟踪方法广泛的应用于自动驾驶、行为识别和移动机器人领域，主要通过将跟踪分为两个步骤，即，检测步骤(在每帧中独立定位目标)和数据关联步骤(神经网络学习身份判别特征并逐帧关联边框形成轨迹)来简化任务。现有的多目标跟踪方法降低了目标整体跟踪的复杂性，并将多目标跟踪转化为解决数据关联的问题。

多目标跟踪方法中的检测本身存在漏检和误检等问题，并且在拥挤的环境中，目标间存在遮挡和相互作用，因此数据关联仍然是一项艰巨的任务。多目标跟踪方法中的数据关联包括多个计算密集型组件(例如行人重识别、运动预测和遮挡处理等模块)。起重要作用的行人重识别是通过提取裁剪目标的外貌特征来计算鲁棒的相似度评分，逐帧计算目标的相似性得分形成关联矩阵，最终通过匈牙利算法分配边框，这种任务分离往往需要更复杂的网络模型和较长推理时间。

随着多任务学习的兴起，现有的多目标跟踪方法开始采用联合目标检测和外貌特征学习的单阶方法。联合目标检测和外貌特征学习的单阶方法将目标检测的跟踪方法视为多任务学习问题，通过在一个模型中并行训练两种任务(多目标跟踪涉及检测和重识别任务)，这样提高了学习效率的同时减少了推理时间。由于现有的多目标跟踪方法需要同时保证推理速度和跟踪准确度，这种并行训练，检测和Re-ID中需要更充分低维和高维特征来应对不同尺度的目标，以及需要在基于锚框的检测体系结构下更好地提取实例级别的特征。因此，这种并行训练存在性能受到限制的问题。

发明内容

本发明实施方式的目的是提供一种基于关联检测和编码网络的多目标跟踪方法，以至少解决上述的多目标跟踪方法在联合训练检测和身份特征编码时无法合理地一起训练的问题。

为了实现上述目的，本发明提供一种基于关联检测和编码网络的多目标跟踪方法，其包括以下步骤：

S1)将多个训练批次的帧图像输入基于YOLOv5网路图像的检测模型，以将基于YOLOv5网路的图像检测模型训练成关联检测和嵌入模型；

S2)获取采集的视频流，并按照视频流的采集时间顺序将视频流的帧图像输入所述关联检测和嵌入模型，得到每一帧图像的融合特征图、与所述融合特征图对应的目标检测框、所述目标检测框对应的身份判别编码和目标检测框的定位；

S3)对于每一帧图像，将每一帧图像的目标检测框中满足预设条件的目标检测框作为该帧图像的关键目标检测框，根据关键目标检测框对应的身份判别编码，确定该帧图像的关键目标检测框的身份特征向量；

S4)计算每一帧图像的关键目标检测框的身份特征向量与前一帧图像的关键目标检测框的身份特征向量在欧氏空间中的距离，形成第一关联矩阵；

S5)将所述第一关联矩阵，运用卡尔曼滤波确定每一帧图像的关键目标检测框与前一帧图像的关键目标检测框的关联关系，以所确定的关联关系将每一帧图像的关键目标检测框与前一帧图像的关键目标检测框进行对应关联，形成视频流中每一帧图像的各个关键目标检测框的运动轨迹。

可选的，所述方法还包括：

根据所述第一关联矩阵，将与前一帧图像的关键目标检测框对应关联失败的帧图像的关键目标检测框作为再次关联的目标检测框；