[发明专利]一种基于显著性检测的分层多目标跟踪方法

权利要求书

1.一种基于显著性检测的分层多目标跟踪方法，其特征在于，包括以下步骤：

构建基于已有标准数据集与人工标注混合的混合数据集，并进行数据增强；构建道路交通场景显著性区域检测子网络生成显著性区域与非显著性区域；利用目标检测算法检测每一帧目标；构建卷积网络、长短时记忆与图卷积网络相结合的多目标跟踪网络模型，并跟踪显著性区域目标；构建并行KCF池对非显著性区域内目标进行单目标跟踪；将显著性区域与非显著性区域轨迹结合并后处理生成整体轨迹；

具体包括以下步骤：

A、通过前视车载相机拍摄交通视频，对交通视频每一帧标注，建立真实场景数据集，并与已有标准多目标跟踪数据集进行联合增强，得到混合数据集；

B、利用混合数据集进行训练，构建显著性检测卷积神经网络，对于输入图片输出检测显著性区域I_s和非显著性区域I_non，区域面积与原始图片I₀比例为f(R)＝S(I_s)/S(I₀)，通过输入原始图片I₀对图片目标进行分割，生成显著性区域I_s，区域框内目标为该场景下最需要注意的脆弱目标，区域框面积与原始图片I₀大小关系为

C、在时刻t对原始图片I₀进行预处理获取检测输入I_de，利用一阶段目标检测卷积网络YOLO v3对于输入I_de计算目标种类和包围框，进行限定目标检测，判断是否为显著性区域，如“是”，继续下一步，如“不是”执行步骤I；

D、输入原始图片I₀、显著性图片I_s与目标检测结果，构建基于卷积神经网络与多个长短时记忆模块相结合的多目标跟踪网络以提取表观特征、运动特征和交互特征，输出运动轨迹；

E、针对步骤D中的表观特征利用卷积神经网络提取检测目标区域的图像特征，网络结构包括5个卷积层、3个池化层和1个全连接层，针对每个目标输出对应卷积特征表示；

F、针对步骤D中的所提取运动特征采用多个长短时记忆模块组合构成长短时记忆网络单元，在t时刻其输入分别为目标速度v、目标类别class、目标包围框坐标bb；

G、针对步骤D中的所提取交互特征采用单层图卷积网络进行提取，针对t时刻起输入为目标包围框坐标bb、目标类别class、目标中心center不同目标之间影响进行迭代建模，输出每个目标位置正态分布；

H、将步骤E、步骤F和步骤G中所提取表观、运动和交互特征作为输入张量，输入到长短时记忆模块中，提取得到显著性区域目标轨迹和包围框；

I、采用并行KCF算法对步骤B所得每个非显著区域目标进行跟踪，生成轨迹；

J、结合显著性区域和非显著性区域轨迹后处理生成整体轨迹。

2.根据权利要求1所述的一种基于显著性检测的分层多目标跟踪方法，其特征在于：步骤A，所述视频分为路段和交叉口两类，每个类别不少于设定时间T。

3.根据权利要求1所述的一种基于显著性检测的分层多目标跟踪方法，其特征在于：步骤A，所述数据增强方法为将混合数据集进行翻转、随机裁剪、多尺度缩放、仿射变换。

4.根据权利要求1所述的一种基于显著性检测的分层多目标跟踪方法，其特征在于：步骤B，采用随机梯度下降法SGD进行训练，采用smooth L1、softmax函数与R联合作为损失函数，其公式为f＝f(smooth-l1)+f(softmax)+f(R)，其中

5.根据权利要求1所述的一种基于显著性检测的分层多目标跟踪方法，其特征在于：步骤C，所述目标种类包括行人、车辆和骑车人。

6.根据权利要求1所述的一种基于显著性检测的分层多目标跟踪方法，其特征在于：步骤F，所述长短时记忆网络单元包含200个隐藏层。