[发明专利]统一目标运动感知和重识别网络的在线多目标跟踪方法

权利要求书

1.统一目标运动感知和重识别网络的在线多目标跟踪方法，其特征在于包括以下步骤：

A.将当前帧图像与前一帧图像输入到骨干网络，获得两帧图像的特征图；

B.将前一帧图像的热力图与步骤A提取的两个特征图同时送入检测与跟踪分支，获得计算当前帧检测结果所需的热力图和长宽，以及目标的跟踪偏移量；

所述获得计算当前帧检测结果所需的热力图和长宽，以及目标的跟踪偏移量进一步包括以下子步骤：

B1.设当前帧为第t帧，将第t帧图像和第t-1帧图像、热力图输入检测与跟踪分支，基于无锚点的检测网络CenterNet预测第t帧目标中心点位置和长宽通过损失L_center回归中心点位置，所述损失L_center计算方式如下：

其中，分别表示第t帧第i个目标的预测和真实中心点位置，N为当前序列中的目标总数；使用smooth L1通过损失L_size来回归目标边界框长宽；

B2.基于完全交并比损失，使用损失L_bbox拟合边界框长宽比，进一步约束边界框重叠区域面积和中心点距离；所述损失L_bbox计算方式如下：

其中，φ为预测和真实边界框之间的交并比，d(·)表示两个中心点之间的欧氏距离，σ表示覆盖两个边界框的最小矩形的对角线长度，系数α和υ用来平衡预测框长宽比与真实框长宽比的一致性；

B3.对第t帧中的每个目标，预测对应中心点的二维跟踪偏移量所述跟踪偏移量计算方式如下：

B4.通过目标中心点和长宽的损失L_offset学习跟踪偏移量，所述损失L_offset计算方式如下：

在网络训练阶段，输入图像为视频序列第一帧或图像序列时，可不输入前一帧的图像和热力图，同时，方法允许输入与当前帧间隔τ帧的前序帧，所述τ∈[0,5]；

C.将步骤A获得的两帧图像的特征图送入重识别分支，获得嵌入特征向量，存储于重识别特征向量池中；

D.根据跟踪偏移量，使用数据关联算法对步骤B获得的检测结果进行第一次匹配，将检测结果分为已匹配的检测和未匹配的检测，为已匹配的检测分配对应目标的身份识别；

E.对步骤D获得的未匹配检测结果进行第二次匹配，将未匹配检测结果与步骤C获得的嵌入特征向量逐一进行相似性计算，根据设定的阈值δ，为不同检测结果分配身份识别，即获得当前帧最终的跟踪结果。

2.如权利要求1所述统一目标运动感知和重识别网络的在线多目标跟踪方法，其特征在于在步骤A中，所述骨干网络采用DLA-34网络进行改造；DLA-34网络由迭代深度聚合模块和层次深度聚合模块组成；将DLA-34网络的上采样模块中所有普通卷积层换成可形变卷积层，根据不同尺度的目标动态调整感受野；同时，在DLA-34网络的下采样模块中插入目标运动感知模块，使网络更加关注目标偏移信息；所述目标运动感知模块基于自注意力机制，首先，分别使用核为H×1和1×W的平均池化层编码水平和垂直方向上的输入特征，将两个方向上的特征拼接，送入一个1×1的二维卷积层和Sigmoid激活层提取特征，然后拆分该特征，对拆分后的特征使用另外两个1×1的二维卷积层和Sigmoid激活层，提取水平和垂直方向上的特征，最后，将两个方向上的特征作为权重向量作用于原输入特征，经过下采样后得到输出特征。

3.如权利要求1所述统一目标运动感知和重识别网络的在线多目标跟踪方法，其特征在于在步骤C中，所述重识别分支由一个二维卷积层与一个批归一化层组成，用于为每个目标提取一个128维的嵌入特征向量；在重识别网络训练阶段，将嵌入特征向量的学习看成一个二分类问题，划分所有具有相同身份标识的目标为同一类别，使用位置在目标中心点的嵌入特征向量训练；网络学习提取目标的嵌入特征向量E_p，并将该向量映射到一个类别分布向量P＝{ρ(k),k∈[1,K]}中，损失函数L_id定义为：

其中，L_i(k)表示第i个目标的真实类别标签的one-hot编码，K表示类别总数；

在重识别网络推理阶段，从图像中提取每个目标的嵌入特征向量，并存储于重识别特征向量池。