[发明专利]一种隧道内实时多类别多目标跟踪方法

说明书

本发明涉及计算机视觉技术领域，尤其涉及一种隧道内实时多类别多目标跟踪方法：其包括步骤1：将检测网络与特征提取网络融合后训练，得到训练好的融合网络；步骤2：将隧道内车道图片输入至融合网络后输出感兴趣区域内目标的预测结果并保存全局特征图，其中预测结果包括目标类别、置信度和位置信息；步骤3：对预测结果进行非极大值抑制从而筛选出检测目标；步骤4：根据检测目标的位置信息在全局特征图中截取目标特征；步骤5：各目标特征图通过SPP网络得到各目标对应的目标特征向量；步骤6：将极大值抑制后的预测结果和目标特征向量输入到跟踪器中进行目标跟踪。本发明有效提高隧道复杂场景的多目标跟踪效率和准确性。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种隧道内实时多类别多目标跟踪方法。

背景技术

多目标跟踪是目前研究的热点之一，其是深度挖掘交通监控视频中车辆行驶状况(如车速)、分析车辆异常行为(如异常停车、实线越线)的基础。然而，目前的视频多目标跟踪技术仍存在一些难点，如跟踪所花费的时间较长、在复杂场景下对目标跟踪准确率低等问题。隧道场景复杂，眩光干扰严重切远处目标小，对车辆多目标跟踪的准确性和实时性提出了更高的要求。目前已有的多目标跟踪算法或跟踪精度不够，或不满足工程实践的实时性，或仅能应用于单类别多目标跟踪，难以应用于隧道视频监控智能处理系统，难以满足隧道场景的要求。

发明内容

本发明的目的是为了提供一种隧道内实时多类别多目标跟踪方法，有效提高车辆多目标跟踪的处理效率，实现对多个类别的多个目标同时进行跟踪，且适用于隧道复杂场景。

为解决以上技术问题，本发明的技术方案为：一种隧道内实时多类别多目标跟踪方法，包括：

步骤1：将检测网络与特征提取网络融合后训练，得到训练好的融合网络；

步骤2：将隧道内车道图片输入至融合网络后输出感兴趣区域内目标的预测结果并保存全局特征图，其中预测结果包括目标类别、置信度和位置信息；

步骤3：对预测结果进行非极大值抑制从而筛选出检测目标；

步骤4：根据检测目标的位置信息在全局特征图中截取目标特征；

步骤5：各目标特征图通过SPP网络得到各目标对应的目标特征向量；

步骤6：将极大值抑制后的预测结果和目标特征向量输入到跟踪器中进行目标跟踪。

进一步地，检测网络为SSD或YOLO系列。

进一步地，训练融合网络时，构建相应的训练集，训练集包括目标类别、id和坐标。

进一步地，所述跟踪器为基于DeepSORT算法的跟踪器。

进一步地，步骤1具体为：

步骤1.1：图片输入融合网络，获取输入图片的FPN全局特征图；

步骤1.2：获取目标预测的类别、置信度和位置信息；

步骤1.3：判断是否训练，若不训练，则执行步骤2；若训练，则执行步骤1.4的训练步骤；步骤1.4：训练融合网络，具体为：

根据预测坐标在全局特征图中截取目标特征；

通过SPP网络得到各目标对应的目标特征向量；

计算损失，反向传播训练网络，即根据损失值修改网络参数。

进一步地，所述步骤1.4的训练步骤具体为：

步骤1.41：输入图片通过检测网络得到预测特征图，从而得到预测结果，即类别、置信度和位置信息；