[发明专利]一种基于联合检测与表征提取的多目标跟踪系统和方法

权利要求书

1.一种基于联合检测与表征提取的多目标跟踪系统，其特征在于，包括联合检测与表征提取模块、轨迹预测模块和候选框筛选模块，其中所述联合检测与表征提取模块由主干网络、区域选择网络、目标边界框回归器以及表征提取器构成。

2.如权利要求1所述的基于联合检测与表征提取的多目标跟踪系统，其特征在于，所述轨迹预测模块采用线性运动模型，根据轨迹的运动信息来推测跟踪的目标在当前视频帧的可能位置，并对已有轨迹进行修正以降低误差。

3.如权利要求1所述的基于联合检测与表征提取的多目标跟踪系统，其特征在于，所述候选框筛选模块采用带有身份传递的非极大化抑制算法，能够以置信度筛选出最优的候选框，并通过身份传递同时完成检测候选框与轨迹的数据关联。

4.如权利要求1所述的基于联合检测与表征提取的多目标跟踪系统，其特征在于，所述主干网络采用可以提取图像特征的骨干网络，在骨干网络的基础上建立特征金字塔网络。

5.如权利要求1所述的基于联合检测与表征提取的多目标跟踪系统，其特征在于，所述目标边界框回归器与所述表征提取器均采用深度神经网络结构，所述目标边界框回归器使用全连接层网络。

6.一种基于联合检测与表征提取的多目标跟踪方法，其特征在于，所述方法包括以下步骤：

步骤1、令活动轨迹集为空集，失活轨迹集为空集；将视频帧序列逐帧输入到所述主干网络中，获得当前帧图像的特征表；

步骤2、根据特征表中的信息，利用所述轨迹预测模块与所述联合检测与表征提取模块中的RPN、所述边界框回归器与所述表征提取器等模块功能，生成候选框；

步骤3、采用带有身份传递的非极大抑制法从候选框中筛选出最优的候选框；

步骤4、根据筛选结果更新轨迹，包括轨迹的生成、延申与删除；

步骤5、若当前帧不为视频的最后一帧，则返回第一步，否则结束。

7.如权利要求6所述的基于联合检测与表征提取的多目标跟踪方法，其特征在于，所述步骤2还包括：

步骤2.1、检测图像中的目标；

步骤2.2、预测轨迹的可能位置；

步骤2.3、生成候选框；

步骤2.4、提取表征向量。

8.如权利要求6所述的基于联合检测与表征提取的多目标跟踪方法，其特征在于，所述步骤3采用带有身份传递的非极化抑制法，具体包括：

步骤3.1、根据所述目标边界框之间的交并比对输入的候选框进行聚类，利用候选框之间的空间关系，将属于同一目标的候选框聚为一类，并将不属于同一目标的候选框加以区分；

步骤3.2、如果聚类结果中某一簇含有带身份标签的候选框，则将该候选框的身份标签传递给该簇中的所有候选框；

步骤3.3、将每一簇中非最大置信度的候选框删除，仅保留簇内置信度最大的那个候选框。

9.如权利要求6所述的基于联合检测与表征提取的多目标跟踪方法，其特征在于，所述步骤4还包括：

步骤4.1、更新所述活动轨迹集中的轨迹；

步骤4.2、比对所述失活轨迹集与筛选结果之间的特征，进行重识别操作；

步骤4.3、更新所述失活轨迹集中重识别成功的轨迹，并将其加入到所述活动轨迹集中，重识别失败的筛选结果作为新出现的目标，为其创建轨迹并添加入所述活动轨迹集。

10.如权利要求9所述的基于联合检测与表征提取的多目标跟踪方法，其特征在于，采用的重识别方法为一种短期的、基于表征向量之间欧式距离的方法。