[发明专利]一种面向行人的长时间多目标跟踪方法

权利要求书

1.一种面向行人的长时间多目标跟踪方法，其特征在于，包括如下步骤：

步骤1、接收远程监控的视频数据，进行数据预处理，将处理好后的图像image存放在缓存buffer中，得到视频数据date；

步骤2、读取视频数据date，对读取的图像进行目标检测，得到图像所涉及的所有行人的位置信息，将检测的结果存储到txt文件中；

步骤3、对txt文件中记录的行人的位置信息进行目标跟踪处理，提取外观特征，根据txt文件记录行人在图像中左上角的坐标，对该图像进行剪裁，得到单一的行人图像，存储于目标集合O中，接着遍历目标集合O中的行人目标，并且使用VGG16网络对该遍历的目标提取外观特征，得到维度为1×128的外观特征向量，把所有目标的外观特征存储到目标外观特征集合，即F_det＝{f_det1,f_det2,…,f_detn}；

步骤4、用LSTM网络对已存在轨迹集合中的轨迹提取运动特征，已存在的轨迹集合包括已确认轨迹、暂定轨迹、暂时删除暂定轨迹、暂时删除已确认轨迹，永久删除轨迹，对已确认轨迹集合confirm_t＝{ct₁,ct₂,…,ct_n}以及暂定轨迹集合tentative_t＝{tt₁,tt₂,…,tt_n}提取运动特征，把集合中的每条轨迹的后续16个坐标点作为LSTM网络的输入，从而得到每条轨迹对当前时刻的坐标预估值x′,y′,w′,h′＞；

步骤5、对外观特征和运动特征进行特征度量，根据F_det＝{f_det1,f_det2,…,f_detn}，由于轨迹含有外观特征f₁这一属性，轨迹外观特征的获取是直接读取该属性的值，将轨迹外观特征与F_det中记录当前目标的外观特征通过公式(2)进行比较；

其中，f₁为轨迹外观特征，f_det为目标外观特征，当d₁值大于等于0.5时，表明两者的外观相似，则继续进行后续操作，反之，将该值丢弃，不对两者进行后续操作，根据满足外观特征度量结果条件得到轨迹目标对，即track,object＞，接着对其进行运动特征度量，根据轨迹track的坐标预估值即坐标预估值x′,y′,w′,h′＞与object的位置信息进行比较，其中，每个目标的坐标信息记录在f_det中的后4列中，比较方式如公式(3)所示：

其中，为预测位置的面积，为实际目标位置的面积；

当d₂值大于等于0.5时，表明预测位置与对比目标的位置接近，则继续进行后续操作，反之，将该值丢弃，不对两者进行后续操作，把满足条件的轨迹目标对track,object＞所对应的外观特征度量值以及运动特征度量值代入公式(1)中，得到轨迹目标对最终的度量值d，公式(1)如下所示，

d＝λ·d₁+(1-λ)·d₂ (1)

其中，d₁为外观特征度量结果，d₂为运动特征度量结果，λ为权重；

步骤6、根据度量结果，采用匈牙利算法进行目标关联，生成如下轨迹情况，情况b，图像帧中出现新的目标，将其初始化为暂定轨迹，把该条轨迹添加到新增已确认轨迹集合add_ct；情况c，暂定轨迹集合tentative_t中出现状态转换为已确认轨迹，即暂定轨迹存在连续3帧能够关联到目标对象，把该条轨迹添加到新增已确认轨迹集合add_ct，针对出现情况b新增暂定轨迹集合add_tt＝{addtt₁,addtt₂,…,addtt_n}中每条轨迹与暂时删除暂定轨迹集合d_tt＝{dtt₁,dtt₂,…,dtt_n}进行核查，对该情况的轨迹对addtt_j,dtt_i核查时，使用公式(2)得到的d₁值进行外观特征比较，由于暂时删除暂定轨迹与新增暂定轨迹相隔时间间距大于等于15帧，此时比较的过程还需要参考轨迹可信基数θ，两条轨迹相隔距离越大，说明可行度越低，θ的计算如公式(4)所示，最终轨迹应该满足的核查条件如公式(5)所示，

d_f＝θ+d₁≥check_γ (5)

其中，θ为轨迹可信基数，length为当前轨迹的长度，check_γ为阈值，d₁为公式(2)得到的结果；

根据公式(5)得出的d_f值，判断是否大于等于check_γ，check_γ取值为1.6，若满足则说明两条轨迹为跟踪同一目标的轨迹；

针对出现情况c新增已确认轨迹集合add_ct＝{addct₁,addct₂,…,addct_n}中的每条轨迹与暂时删除确认轨迹集合d_ct＝{dct₁,dct₂,…,dct_n}中的每一条轨迹进行核查，首先把轨迹对addct_j,dct_i的外观特征通过公式(2)进行度量，若d₁值大于等于0.7，则接着对暂时删除确认轨迹dct_i主要通过LSTM网络生成与addct_j轨迹时间相对应的预测轨迹，然后把预测轨迹上的预估点与addct_j轨迹上的时间相对应的轨迹点，通过公式(3)对运动特征进行度量，每对轨迹点度量结果为t_i，所有相应两点的度量结果如公式(6)所示，整体比较的过程中依然需要参考轨迹可信基数θ，θ的计算如公式(4)所示，最终轨迹应该满足的核查条件如公式(7)所示，

d_m＝θ+t_total≥check_ε (7)

其中，t_total为轨迹度量结果，t_i为轨迹点度量值，θ为轨迹可信基数，check_ε为阈值，

根据公式(7)得出的d_f值，判断是否大于等于check_ε，check_ε取值为1.7，若满足则说明两条轨迹为跟踪同一目标的轨迹；

步骤7、对步骤6生成的轨迹进行核查；

步骤8、根据步骤6和步骤7的结果对轨迹更新，更新结束后，返回步骤2，接着对后续视频帧进行多目标跟踪，直到没有接收到监控视频数据。