[发明专利]基于Soft-NMS的多尺度人体跟踪方法及装置

权利要求书

1.基于Soft-NMS的多尺度人体跟踪方法，其特征在于：其包括以下步骤：

(1)通过Yolov3网络提取人体目标，然后基于目标框的DIoU进行非极大值抑制，再通过一个基于常量速度和线性观测模型的标准卡尔曼滤波器，对目标运动状态进行预测，利用马氏距离表示预测框与下一帧目标框之间的关联度，代表距离特征；

(2)使用Mars数据集上离线训练的深度学习模型，提取人体外观特征；

(3)将距离特征与外观特征进行尺度融合，作为下一帧目标确定的匹配度量标准，通过级联匹配的原则进行目标确认，不断对输入的帧进行处理更新，最终完成跟踪任务。

2.根据权利要求1所述的基于Soft-NMS的多尺度人体跟踪方法，其特征在于：所述步骤(1)的Yolov3提取人体运动状态，其网络基于darknet53进行构建，并在此之上进行三次采样输出，实现了多尺度预测，其采用多个logistic分类器代替传统的Softmax进行多标签分类，分类的损失函数使用binary Cross-entropy函数。

3.根据权利要求2所述的基于Soft-NMS的多尺度人体跟踪方法，其特征在于：所述步骤(1)中，使用基于DIoU的Soft-NMS进行目标框抑制，以增强方法的抗遮挡性，DIoU是指基于距离的IoU，考虑了目标框与参考框之间的距离及尺度；根据公式(6)，其中b和b^gt分别代表了预测框和真实框的中心点，且ρ代表的是计算两个中心点间的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离

公式(7)、(8)分别展示了NMS及Soft-NMS的具体定义，在NMS方法中，如果目标框间的重叠区域大于阈值，则对应目标框的置信度会置为零，当图像中有多个目标时，这一方法很容易导致目标漏检；

公式(9)为连续的高斯加权的Soft-NMS定义方式

4.根据权利要求3所述的基于Soft-NMS的多尺度人体跟踪方法，其特征在于：所述步骤(1)中，

使用当前目标框和卡尔曼滤波的预测框之间的马氏距离描述运动信息的关联程度，具体定义参考公式(1)，其中d_j表示第j个目标框的位置，y_i表示第i个跟踪器对目标的卡尔曼滤波预测位置，S_i代表检测位置和平均跟踪位置之间的协方差矩阵。另外方法引入了逆χ²分布计算得来的置信度对马氏距离进行了阈值化处理，具体定义参考公式(2)，当马氏距离小于该阈值时，则认为匹配

5.根据权利要求4所述的基于Soft-NMS的多尺度人体跟踪方法，其特征在于：所述步骤(2)包括以下分步骤：

(2.1)进行多尺度特征适应的ReId网络模型，对每一个检测目标进行了特征提取并构建了Gallery，用来存储每一个目标成功关联的最近的100帧特征向量，作为运动目标的外观特征；

(2.2)针对运动目标的外观信息，计算第i个跟踪器最近100个成功关联的特征集与当前帧的第j个检测结果的特征向量间的最小余弦距离，具体定义参考公式(3)，其中r_i代表检测块d_j的特征向量

(2.3)通过阈值化进行判断关联是否成功，定义参考公式(4)，当小于该阈值时，代表关联成功