[发明专利]一种使用全局响应图的端到端的多目标跟踪方法

权利要求书

1.一种使用全局响应图的端到端的多目标跟踪方法，其特征在于，包括以下步骤：

1)表达被跟踪目标的运动特征：从数据集中选取所有被跟踪目标的运动属性，并对之进行归一化处理，将所有目标的属性特征以不同通道的形式表达到一张全局响应图；

2)生成训练样本与步骤1)相对应的属性标签：使用基于历史状态信息的逻辑推断方法来生成训练样本实际存在状态的属性标签；

3)目标定位：使用步骤2)所生成的训练数据，借助改进的显著性目标检测子网络来训练步骤1)中定义的全局响应图进行目标定位；

4)预测目标位置变化：根据步骤3)所获得的全局响应图，使用基于帧间光流场的运动偏移量回归子网络来进行目标位置变化的预测；

5)距离度量：根据步骤3)获得的全局响应图和步骤4)获得的位置变化图，针对每个相应点，计算观测空间与状态空间的IOU距离：

其中，Area(a)和Area(b)分别指目标在观测位置和预测位置的矩形框面积；

6)轨迹连接：利用步骤5)得到的距离度量构建全局代价矩阵，然后利用匈牙利算法通过最小化代价矩阵来进行最优分配，从而得到最终的目标轨迹。

2.根据权利要求1所述的一种使用全局响应图的端到端的多目标跟踪方法，其特征在于，步骤1)的具体实现方法如下：

101)将目标的存在与否信息表达成具有高斯分布的响应值，每个响应点的值域为[0,1]；

102)将目标的位置信息表达成具有高斯分布的形式而不是检测框的形式，每个目标的高斯分布的中心点即为目标矩形框的中心点位置；

103)利用全局响应图将所有目标的存在与否和位置信息属性同时进行建模，响应图的每个通道表示目标的一种属性。

3.根据权利要求1所述的一种使用全局响应图的端到端的多目标跟踪方法，其特征在于，步骤2)是针对步骤1)构建的响应图来生成对应的训练样本标签，其具体实现方法如下：

201)将训练样本中每个被跟踪目标在每一时刻的实际存在状态表达成0/1的响应值；

202)通过观察长度为l＝10的时间窗口内历史时刻的目标状态值来推断当前时刻的响应值。

4.根据权利要求1所述的一种使用全局响应图的端到端的多目标跟踪方法，其特征在于，步骤3)使用的目标定位子网络属于一种自动编码器，它的输入是一段时间窗的连续图像帧序列，输出是由步骤1)所定义的全局响应图。

5.根据权利要求1所述的一种使用全局响应图的端到端的多目标跟踪方法，其特征在于，所述步骤3)和步骤4)之间，还包括对步骤4)输出的全局响应图进行非极大抑制，从而过滤掉响应值过低和出现重叠的异常值。

6.根据权利要求1所述的一种使用全局响应图的端到端的多目标跟踪方法，其特征在于，步骤4)使用了感兴趣区域池化和多个全连接操作实现了从像素级的全局运动偏移场中同时回归出所有被跟踪目标在下一时刻的位置变化信息，这些位置变化信息包括目标中心点的偏移量Δcx,Δcy和目标尺寸的变化量Δw,Δh。

7.根据权利要求1所述的一种使用全局响应图的端到端的多目标跟踪方法，其特征在于，步骤5)是根据步骤3)得到的全局响应图和步骤4)得到的位置预测图的一种后处理步骤，其具体实现方法如下：

501)将目标响应图中定位到的目标位置视为观测空间的值，统计所有响应值超过最低阈值的响应点，总数设为M；

502)将回归网络得到的目标位置预测视为状态空间的值，针对每个被跟踪目标，从回归网络输出的位置预测图中获取其对应位置的预测值，统计被跟踪目标总数为N；

503)针对每个被跟踪目标，计算其预测位置的矩形框与下一帧全局响应图中所有正响应位置的矩形框之间的IOU距离。

8.根据权利要求7所述的一种使用全局响应图的端到端的多目标跟踪方法，其特征在于，步骤6)是根据步骤5)得到预测空间与观测空间的IOU距离来进行最优分配的过程，其具体实现方法如下：

601)根据被跟踪目标总数N和正响应点总数M构建一个N*M的全局代价矩阵，矩阵的对应位置为每个目标根据步骤5)计算的IOU距离；

602)利用匈牙利算法通过最小化全局代价矩阵来进行最优分配，分配的结果为被跟踪目标与当前帧观测到的响应点位置的对应关系；

603)根据每个分配结果连接目标轨迹，未被分配的响应点进行轨迹初始化，未被分配的目标列入观察期，列入观察期的目标经过10帧仍未匹配到响应点，则将目标轨迹终止。