[发明专利]一种隧道内实时多类别多目标跟踪方法

权利要求书

1.一种隧道内实时多类别多目标跟踪方法，其特征在于：包括

步骤1：将检测网络与特征提取网络融合后训练，得到训练好的融合网络；

步骤2：将隧道内车道图片输入至融合网络后输出感兴趣区域内目标的预测结果并保存全局特征图，其中预测结果包括目标类别、置信度和位置信息；

步骤3：对预测结果进行非极大值抑制从而筛选出检测目标；

步骤4：根据检测目标的位置信息在全局特征图中截取目标特征；

步骤5：各目标特征图通过SPP网络得到各目标对应的目标特征向量；

步骤6：将极大值抑制后的预测结果和目标特征向量输入到跟踪器中进行目标跟踪。

2.根据权利要求1所述的隧道内实时多类别多目标跟踪方法，其特征在于：检测网络为SSD或YOLO系列。

3.根据权利要求1所述的隧道内实时多类别多目标跟踪方法，其特征在于：训练融合网络时，构建相应的训练集，训练集包括目标类别、id和坐标。

4.根据权利要求1所述的隧道内实时多类别多目标跟踪方法，其特征在于：所述跟踪器为基于DeepSORT算法的跟踪器。

5.根据权利要求1所述的隧道内实时多类别多目标跟踪方法，其特征在于：步骤1具体为：

步骤1.1：图片输入融合网络，获取输入图片的FPN全局特征图；

步骤1.2：获取目标预测的类别、置信度和位置信息；

步骤1.3：判断是否训练，若不训练，则执行步骤2；若训练，则执行步骤1.4的训练步骤；

步骤1.4：训练融合网络，具体为：

根据预测坐标在全局特征图中截取目标特征；

通过SPP网络得到各目标对应的目标特征向量；

计算损失，反向传播训练网络，即根据损失值修改网络参数。

6.根据权利要求5所述的隧道内实时多类别多目标跟踪方法，其特征在于：所述步骤1.4的训练步骤具体为：

步骤1.41：输入图片通过检测网络得到预测特征图，从而得到预测结果，即类别、置信度和位置信息；

步骤1.42：将检测网络8X下采样特征图C4进行2X上采样得到C4’；将检测网络4X下采样特征图C3进行1*1卷积得到C3’，C3’与C4’相拼接得到特征图P3；

步骤1.43：特征图P3进行2X上采样得到P3’，特征图C2进行1*1卷积得到C2’，P3’与C2’相拼接得到特征图P2，P2尺寸为w*h*c，其中w表示宽，h表示高，c表示通道；

步骤1.44：将特征图P2进行卷积操作，得到全局特征图F2；

步骤1.45：将检测网络的n个目标的预测坐标，映射到全局特征图F2上；

步骤1.46：根据目标在全局特征图的位置，将目标在全局特征图中截取出来，得到第i个目标的特征图F_Xi；

步骤1.47：各目标特征图通过SPP网络得到特征向量F_Vi；

步骤1.48：重复步骤1.47，得到n个目标所对应的特征向量F_Vi，进行拼接操作后，再进行BN操作实现归一化处理，得到特征向量F_Vn；

步骤1.49：将特征向量F_Vn后连接一个全连接层，全连接层输出大小为训练集id的最大值id_max+2，得到n*(id_max+2)大小；

步骤1.410：根据公式(1)对n*(id_max+2)与n个目标对应的真实id标签值进行交叉熵损失计算，其中，id为-1时不计算损失，得到L_id；

式中，M为类别的数量，N为样本数量，y_ic为符号函数，p_ic为观测样本i属于类别c的预测概率；

步骤1.411：采取多任务损失训练对检测网络原有损失函数与L_id进行训练；具体公式如下：

式中，α_j为第j种损失的权重值，为第i个样本第j种损失值，分别包含预测框损失、置信度损失、分类损失与id标签值损失，L_total为总损失。