[发明专利]一种匈牙利算法下基于空间约束的成本矩阵优化方法

说明书

本发明涉及一种匈牙利算法下基于空间约束的成本矩阵优化方法，首先获取保存好的所有被跟踪目标的外观特征向量集合，然后获取该帧中所有行人检测的结果，并将他们结合构造初始的成本矩阵；接着根据之前被跟踪的目标的信息利用卡尔曼滤波来估计该目标的当前位置，根据估计位置和检测结果的相对关系来修改成本矩阵的权重，用于后续的指派任务；最后利用匈牙利算法获得成本矩阵的最优指派，据此将检测结果进行分配，并且更新和保存被跟踪目标的外貌特征。本发明能够根据视频场景来有效改善匈牙利算法的匹配效果，去除一些不合理的匹配。

技术领域

本发明涉及计算机视觉领域，特别是一种匈牙利算法下基于空间约束的成本矩阵优化方法。

背景技术

多目标跟踪即Multiple Object Tracking(MOT)。其主要任务是给定一个图像序列，找到图像序列中运动的物体，并将不同帧中的运动物体一一对应(Identity),然后给出不同物体的运动轨迹。目前学术界在多目标跟踪(MOT)问题上采用的主流框架是TBD(Tracking-by-Detection)，也就是基于检测的跟踪，在这一主流的跟踪框架中，多目标跟踪问题被表述为一个关联匹配问题：某一帧获得的检测结果如果与上一帧获得的检测结果相匹配，从而认定为同一个目标。

传统的多目标跟踪中，在匹配关联阶段：大多利用匈牙利算法根据相似度/距离度量将属于同一目标的检测结果和被跟踪目标关联起来，也就是将相同的ID分配给标识相同目标的检测结果。但是这样会存在一定的弊端，因为没有适当的空间约束，两个距离较远的检测结果和被跟踪目标有可能因为外观相似度极高而被误认为是同一目标，但是实际情况是不可能的，因为在一个视频序列的相邻两帧内目标不会产生太大的唯一，因此采用空间约束的方法对成本矩阵进行优化，优化后的矩阵将在后续作为匈牙利算法的输入。

发明内容

有鉴于此，本发明的目的是提供一种匈牙利算法下基于空间约束的成本矩阵优化方法，能够根据视频场景来有效改善匈牙利算法的匹配效果，去除一些不合理的匹配。

本发明采用以下方案实现：一种匈牙利算法下基于空间约束的成本矩阵优化方法，包括以下步骤：

步骤S1：获取当前帧所有被跟踪目标的外观特征向量集合和当前帧的行人检测结果，把两个集合结合构造初始的成本矩阵；

步骤S2：根据被跟踪目标的目标位置以及速度利用卡尔曼滤波来估计该目标在前一帧的速度，线性估计目标位置后与实际检测到的行人进行对比分析，修改初始的成本矩阵的权重用于后续的指派任务即应用到步骤S3中；

步骤S3：利用匈牙利算法获得修改后的成本矩阵的最优指派，据此对行人检测的结果进行分配，判断出哪些检测结果是属于正在被跟踪的目标，哪些检测结果属于新的目标，如果是正在被跟踪的目标则更新卡尔曼滤波器，如果是新的目标则初始化一个新的跟踪器，最后将这些新的目标输入外观特征提取网络，得到新的外观特征向量并保存。

进一步地，包括步骤S1具体包括以下步骤：

步骤S11：令保存的历史外观特征集合为F，F＝{f_i},i＝1,2...M，其中M表示正在被跟踪目标的数量，f_i表示第i个被跟踪的目标的特征，是一个128维的向量；

步骤S12：令行人检测结果为R＝{Kframe_k,Person_v,det_x,det_y,det_w,det_h,det_c}，k＝1,2,...U,v＝1,2,...V表示一个视频序列中所有检测结果的集合，其中U表示一个视频序列中所有图像帧的数量，V表示一帧图像中所有被检测到行人的数量，Kframe_k表示一个视频序列中的第k帧图像，Person_v表示此帧图像中的第v个行人，det_x,det_y,det_w,det_h分别表示这个行人的检测框左上角的x坐标、y坐标以及检测框的宽和高，det_c表示这个检测框的置信度；