[发明专利]一种复杂场景下轻量级行人跟踪方法

权利要求书

1.一种基于改进的YOLO v5和Deep SORT的行人跟踪方法，其特征在于，包括以下步骤：

步骤1：收集行人训练数据集、行人重识别数据集和行人跟踪数据集，并进行数据预处理；

步骤2：搭建改进的YOLO v5模型并进行训练，用于行人检测：以YOLO v5模型为基础，针对远点目标特征不明显及检测精度的问题进行改进，得到改进的YOLO v5模型，其结构包括主干提取网络、颈部网络与预测层网络；

步骤3：搭建改进的Deep SORT的模型，用于对行人的跟踪；改进的Deep SORT的模型包括目标检测器、卡尔曼滤波器、Shuffle-Net特征提取网络、特征匹配器和级联匹配模块；

步骤4：使用改进的YOLO v5和Deep SORT对行人进行跟踪，其算法流程包括：获取视频、进入检测流程和跟踪流程。

2.根据权利要求1所述的一种基于改进的YOLO v5和Deep SORT的行人跟踪方法，其特征在于，步骤1所述的数据集收集和数据预处理包括：

步骤1-1：收集行人数据集即针对改进的YOLO v5模型训练数据集，收集行人重识别数据集和行人跟踪数据集：收集PASCAL VOC 数据集，使用数据集进行训练，将训练数据经过数据清洗，只保留Person类，得到所需的训练数据；

步骤1-2：收集行人重识别数据集Market-1501 数据集在清华大学校园中采集，它包括由6个摄像头拍摄到的751类行人图像；

步骤1-3： 选取MOT17Det作为行人跟踪数据集。

3.根据权利要求1所述的一种基于改进的YOLO v5和Deep SORT的行人跟踪方法，其特征在于，步骤2所述的搭建改进的YOLO v5模型并训练，包括：

步骤2-1：搭建YOLO v5输入层并进行Mosaic数据增强；

步骤2-2：搭建改进的YOLO v5模型主干特征提取网络，使用空洞空间金字塔池化模块（ASPP）替换原有的SPP模块；

步骤2-3：搭建改进的YOLO v5模型颈部网络，首先将注意力机制ECA-Net添加于主干网络的三层特征层后，其次对于颈部网络融合后的特征层再次添加ECA注意力机制，加强模型提取特征的能力，使模型更加关注被检测的目标；

步骤2-4：搭建改进的YOLOv5模型的头部层：采用CIoU-NMS的非极大值抑制的方法，结合CIoU损失函数以减少检测与跟踪时由于遮挡导致的漏检与ID跳变问题；

步骤2-5： 将行人数据集送入改进的YOLOv5模型，输入图像大小为 640×640、epoch=100、使用Adam优化器进行训练，得到效果最优的改进的YOLO v5模型用于后续的跟踪。

4.根据权利要求1所述的所述的一种基于改进的YOLO v5和Deep SORT的行人跟踪方法，其特征在于，步骤3所述的搭建改进的Deep SORT模型并训练，包括：

步骤3-1：使用改进的YOLO v5模型作为Deep SORT模型的目标检测器；

步骤3-2：使用卡尔曼滤波作为Deep SORT模型的视频下一帧人物位置预测器；

步骤3-3：替换使用Shuffle-Net作为Deep SORT模型的特征提取网络，在提升特征提取精度的同时极大地减少网络参数；

步骤3-4：使用行人重识别数据集为Shuffle-Net模型重新训练，损失函数采用多类别交叉熵损失函数；

步骤3-5：使用匈牙利算法作为特征匹配器，用余弦距离就是那个检测框经过向量化的近似度，利用匈牙利算法对前后两帧中的检测框内行人进行匹配；若匹配度超过设定的阈值，则认定为同一目标并进行ID分配；

步骤3-6：使用级联匹配模块，对过程中出现频率高的目标赋予优先权，以此解决目标长时间遮挡预测不准的问题。

5.根据权利要求1所述的所述的一种基于改进的YOLO v5和Deep SORT的行人跟踪方法，其特征在于，步骤4所述的使用搭建改进的YOLO v5和Deep SORT进行行人跟踪，包括：

步骤4-1：获取视频，实时地进行跟踪；

步骤4-2：首先将视频帧送入YOLO v5模型进行目标检测；

步骤4-3：对行人单位输出结果进行初始化,其中(u,v)表示为行人单位候选框的中心坐标，y表示为纵横比， h表示为高度，其余四个参数表示前四个参数在图像坐标系中各自对应的速度信息；利用基于匀速运动和线性观测模型的标准卡尔曼滤波器来对目标的轨迹状态进行预测更新，使用(u , v , y ,h)表示行人目标状态的观测变量，得到经过卡尔曼滤波算法后的预测框；

步骤4-4：通过计算检测位置与卡尔曼滤波器预测位置之间的马氏距离，对行人运动信息框进行关联,并更新时间标志；

步骤4-5：对关联后的行人运动信息框与第二帧检测传来的行人检测框进行IOU匹配，设定阈值，确认跟踪状态并进行级联匹配；跟踪状态分为三种：confirmed 、unconfirmed和deleted；所述IOU匹配是指：把unconfirmed轨迹和上一帧匹配到的confirmed轨迹，通过匈牙利算法进行匹配，对经过匈牙利算法匹配后的结果，再次进行级联匹配操作，把很久没匹配到的confirmed轨迹与未匹配到的unconfirmed轨迹进行删除，将没匹配到的目标赋予优先级分配新的轨迹，以保证对最近出现的目标赋予最大匹配优先权；

步骤4-6：对经过匹配成功后的结果即confirmed跟踪状态,进行跟踪结果存储并可视化输出，同时进入更新模块；对匹配成功后的每一个追踪目标构建一个容器，即追踪器，存储每一个追踪目标最近成功关联的特征向量，更新追踪器；

步骤4-7：对经过匹配未成功的结果，即unconfirmed跟踪状态，使用Shuffle-Net特征提取网络对其结果进行特征框提取，得到相应特征向量，使用特征提取后的特征向量，计算与当前容器内的特征向量之间的最小余弦距离；若余弦距离小于阈值，则再次进入卡尔曼滤波器，通过马氏距离，对行人运动信息框进行关联进行第二次预测，并更新时间标志；若余弦距离大于阈值，则将其跟踪状态标记成deleted，进行删除；对再次匹配，如果第二次匹配依旧失败，则将其跟踪状态标记为deleted，进行删除；若第二次匹配成功，则进行跟踪结果存储并可视化输出，并更新追踪器。