[发明专利]一种无人机视角下多目标车辆旋转框跟踪方法

权利要求书

1.一种无人机视角下多目标车辆旋转框跟踪方法，其特征在于，包含如下步骤：

步骤1)，车辆旋转框检测：制作无人机视角下的车辆数据集，搭建检测网络模型并进行训练，实现对车辆目标的旋转框检测；

步骤2)，FPGM剪枝：基于几何中值卷积神经网络滤波器来修剪冗余的滤波器来实现对检测网络模型的压缩；

步骤3)，重识别网络训练：构造车辆重识别数据集，训练重识别网络模型，得到目标的外观特征和运动特征，实现车辆目标的重识别；

步骤4)，多目标车辆跟踪：将待检测视频输入检测网络模型，得到目标车辆检测框，通过重识别网络提取检测框的外观特征和运动特征，从而计算检测结果与卡尔曼滤波预测结果的相似度，最后通过匈牙利算法进行数据关联，从而实现多目标的跟踪。

2.根据权利要求1所述的无人机视角下多目标车辆旋转框跟踪方法，其特征在于，所述步骤1)的具体步骤为：

步骤1.1)，通过无人机在若干个交通要道以不同的飞行状态来对车辆目标进行拍摄，获得原始数据；再通过标注软件，人工地对每个车辆目标进行旋转框的标注；标注格式为(x₁,y₁,x₂,y₂,x₃,y₃,x₄,y₄,class)，其中，(x_i,y_i)为第i个顶点坐标，1≤i≤4，class为车辆的类别，包含汽车(car)、公交车(bus)、卡车(truck)三类；

步骤1.2)，对于N张原始图片，重复步骤1.1)得到N个对应的标签数据，再将(x₁,y₁,x₂,y₂,x₃,y₃,x₄,y₄,class)标注格式转化为(x_center,y_center,x_bottom,y_bottom,w,h,class)训练格式，其中，(x_center,y_center)表示旋转框中心点坐标，(x_bottom,y_bottom)表示旋转框底点坐标，w、h、class分别表示旋转框的宽、高、类别，最后将其分割为训练集和测试集；

步骤1.3)，在原YOLOv5检测模型中增加CA注意力模块和Transformer预测头，修改模型的参数，搭建模型的运行环境；

步骤1.4)，在操作系统为Ubuntu 16.04,显卡为NVIDIA RTX 2080 Ti的工作站上，设置训练Batch Size大小为4，初始学习率为0.001，训练120个Epochs。

3.根据权利要求2所述的无人机视角下多目标车辆旋转框跟踪方法，其特征在于，所述步骤2)的具体步骤为：

步骤2.1)，加载模型参数到检测网络模型中，对于每一个卷积层，计算每个卷积核与所有的卷积核的欧式距离之和；

步骤2.2)，对得到的所有欧式距离之和，按照从小到大排序，剪裁掉低于预定阈值μ所对应的卷积核；

步骤2.3)，将剪裁掉的卷积核的梯度强制为零，对剪枝后的检测网络模型重新训练，重复裁剪和训练过程，直至检测网络模型收敛；

步骤2.4)，去掉全零卷积核以及卷积核中的冗余通道，同时去掉BN层参数冗余数值，得到剪枝且去零的压缩的检测网络模型。

4.根据权利要求3所述的无人机视角下多目标车辆旋转框跟踪方法，其特征在于，所述步骤3)的具体步骤为：

步骤3.1)，构建车辆重识别数据集，完成对原始VeRi数据集的数据增强和容量扩展；

步骤3.2)，基于余弦度量学习对重识别网络模型进行训练，使得重识别网络模型有良好的分类能力，准确实现对短暂消失又重新出现的车辆目标进行重识别。

5.根据权利要求4所述无人机视角下多目标车辆旋转框跟踪方法，其特征在于，所述步骤4)的具体步骤为：

步骤4.1)，单帧图片车辆目标检测：从视频中获取单帧图片，送入检测网络模型中得到该图片中所有车辆的位置信息(x,y,w,h,theta)和置信度其中，x、y分别为车辆旋转框中心点的横坐标、纵坐标；w、h分别为车辆旋转框的宽度、高度；theta为车辆旋转框的长边与水平线所成的角度；

步骤4.2)，对于步骤4.1)中得到的检测框，通过训练好的重识别网络模型，得到其外观特征和运动特征；

步骤4.3)，卡尔曼滤波预测：采用(x,y,w,h,theta,dx,dy,dw,dh,dtheta)作为状态估计模型的状态向量，采用匀速运动模型的卡尔曼滤波器预测轨迹，预测下一帧目标轨迹，其中，dx,dy,dw,dh,dtheta分别为x,y,w,h,theta的变化量；

步骤4.4)，对卡尔曼滤波预测的确认态轨迹与目标检测器得到的检测框进行级联匹配；

步骤4.5)，将卡尔曼滤波预测的不确认态轨迹与级联匹配产生的检测框失配和轨迹失配结果进行IOU匹配，通过匈牙利算法，得到最终的匹配结果；

步骤4.6)，进行卡尔曼滤波参数更新；

步骤4.7)，循环执行步骤4.1)至步骤4.6)，直至视频结束，得到最终的跟踪结果。