[发明专利]基于目标关联学习的端到端多目标检测与跟踪联合方法

权利要求书

1.基于目标关联学习的端到端多目标检测与跟踪联合方法，其特征在于具体包括以下步骤：

S1、首先，该网络通过两个孪生的骨干网络分别接受时间上连续的两帧I_t1、I_t2图片；

S2、两个骨干网络通过共享参数数据，并同时提取两帧中所有目标的高级语义特征，并结合基于中心点的目标检测方法的训练去学习预测场景中所有目标的中心点位置C_t1、C_t2；

S3、根据预测的中心点位置，回溯网络的特征层，找到目标对应特征区域的特征向量作为目标的表观特征，即得到F_t1、F_t2；

S4、将从不同帧提取的目标表观特征向量进行两两组合得到目标表观特征矩阵G_t1，t2，并考虑目标的空间关系及运动关系，然后根据相同帧之间目标的相对位置关系所形成的相对位置矩阵、不同帧之间目标的位移相似度矩阵后，通过结合三种相似度矩阵，最终得到目标相似度匹配矩阵M_t1,t2，从而实现前后帧的多目标跟踪从而实现前后帧的多目标跟踪。

2.根据权利要求1所述的基于目标关联学习的端到端多目标检测与跟踪联合方法，其特征在于：在步骤S1中骨干网络采用了轻量化的DLA34网络结构，其主要由迭代深度聚合IDA和层次深度聚合HDA构成，迭代深度聚合IDA结构融合了相邻模块内的最后一层特征层，通过对不同尺度的特征层进行融合，使得更深层的特征层的目标语义信息更加丰富；层次深度聚合HDA结构将各个模组内不同通道的特征图融合，实现对各滤波器提取的不同角度的特征进行融合，且加入了可变形卷积操作，以使网络能够对姿态变化较多的目标提取鲁棒特征，保证中心点的目标检测网络的输出特征分辨率大小为原图的1/4。

3.根据权利要求2所述的基于目标关联学习的端到端多目标检测与跟踪联合方法，其特征在于：在步骤S2中基于中心点的目标检测方法过程中含有目标检测网络的损失函数，该损失函数包括中心关键点的预测损失L_center、中心点位置预测的偏移损失L_offset以及目标区域范围的预测损失L_bbox三个部分，L_center的定义公式如下：

其中，Y^p表示预测的热图上每个特征点属于目标中心点的概率，Y表示真实热图上的特征点是目标中心点的概率，β表示对正负样本进行调节的超参数,α表示对易分类样本及难分类样本进行调节的超参数,Otherwise表示除了正样本之外的其他样本；

L_center用来计算预测的热图上每个特征点与真实热图上每个特征点之间的交叉熵，真实热图是通过高斯核得到，即以目标中心为均值为0，峰值为1的中心点，沿远离中心的方向上各点的标注值按照高斯分布依次递减，该损失函数采用了focal loss，能够有效解决正负样本不平衡的问题；

中心点位置偏移损失L_offset的定义公式如下：

其中，C^p表示预测的目标中心偏移值，C表示原图上的目标中心坐标，S表示最终特征层相对于原图的下采样次数，L_offset通过L1 loss计算在下采样过程中目标中心坐标因无法整除而造成的坐标偏移与预测的坐标偏移间的差异损失；

目标区域范围的预测损失L_bbox是目标长宽范围的损失主要训练目标的长宽参数预测，其定义如下：

L_bbox＝|B^p-B| (3)

其中B^p表示目标的预测长宽，B表示目标的真实长宽，L_bbox通过L1 loss计算预测的目标长宽与实际目标长宽的差异损失。