[发明专利]一种目标间关系建模的多目标跟踪方法

权利要求书

1.一种目标间关系建模的多目标跟踪方法，其特征在于，包括以下步骤：

步骤一，构建高性能检测器与外观特征提取网络。检测器的输入为视频帧，输出为各个目标的位置与类别。外观特征提取网络的输入为裁剪出的目标区域，输出为目标的外观特征向量；

步骤二，对于当前帧，为避免遮挡等造成的漏检现象，以较低的置信度阈值筛选出检测候选框。随后采用非极大值抑制对高度重复的检测框进行去重。采用外观特征提取网络提取出各目标的外观特征；

步骤三，对当前帧检测出的目标构造帧内图，图的顶点表示该目标的外观特征与运动特征的编码，边表示所连接的两目标的特征空间拓扑关系，并经过消息传递网络更新帧内图特征；

步骤四，对当前帧与轨迹图构建匹配图。匹配图的一端顶点为活动轨迹与暂时丢失轨迹特征，另一端顶点为当前帧的目标特征；边为所连接的轨迹与当前目标的相似度度量，并经过消息传递网络更新匹配图特征。对每一条边输入至边分类器(由全连接层网络组成)计算该边所代表的匹配关系的得分。由轨迹与目标间的得分构成代价矩阵，通过计算线性指派问题得到代价矩阵的最优解，即为匹配关系；

步骤五，对当前的匹配关系进行整理，恢复因遮挡等造成的低置信度检测与非活动轨迹。

2.根据权利要求1所述的一种目标间关系建模的多目标跟踪方法，其特征在于，所述的步骤一还包括：检测器网络可以选择YOLO系列或CenterNet等，外观特征提取网络为OSNet，高置信度阈值选择为0.5，低置信度阈值选择为0.2，每个目标外观特征向量的维度为64。

3.根据权利要求1所述的一种目标间关系建模的多目标跟踪方法，其特征在于，所述的步骤二中构造帧内图的具体方法为：帧内图的顶点与边的个数与具体的检测结果有关，由于目标密度不定，采用几何距离来寻找目标的近邻目标，范围为以该目标为中心，以图像高宽的较小者的0.1倍为半径。目标外观特征采取64维向量，与近邻目标夹角与归一化距离各预置为20维向量，若近邻目标不足20个，以0填充；若大于20个，取最近的20个。帧内图的边特征编码中，融合顶点特征通过注意力计算获得，几何距离采用欧氏距离，边界框相似度包括中心点差值、宽高比的对数值、Wasserstein距离。

4.根据权利要求1所述的一种目标间关系建模的多目标跟踪方法，其特征在于，所述步骤三中构造匹配图的具体方法为:融合轨迹图的顶点特征与帧内图的顶点特征，并加入位置信息相似度。

5.根据权利要求1所述的一种目标间关系建模的多目标跟踪方法，其特征在于，所述步骤三中由匹配图计算得到匹配关系的具体方法为：对匹配图的边所代表的匹配关系输入至边分类器进行置信度计算，边分类器全连接层层数为2，激活函数采用Sigmoid以归一化输出；根据边得分构造匹配代价矩阵，将得分小于等于0.4的边在代价矩阵的相应位置设置为1E5以拒绝匹配，其余将代价矩阵的响应位置设置为1减去可能性得分，随后采用Sinkhorn算法或Hungarian算法得到匹配矩阵的最优解，即轨迹与目标的对应关系。

6.根据权利要求1所述的一种目标间关系建模的多目标跟踪方法，其特征在于，所述步骤三、四中消息传递网络的更新方式为帧内图与匹配图的消息传递迭代次数均为3，消息传递方式为平均聚合方式，即每个顶点的更新特征由其上一层的自身特征与近邻顶点的平均特征、入边与出边的平均特征以残差结构连接而成。