[发明专利]一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法

权利要求书

1.一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，其特征在于：所述方法包括以下步骤：

步骤1，将长视频序列中，最大间隔为δ_b的任意两帧图像进行预处理；

步骤2，将预处理后的图像输入到Faster R-CNN多目标检测器中；

步骤3，首先判断Faster R-CNN多目标检测器输出的检测结果的遮挡情况，如果遮挡不严重，将预处理后的两帧图像和检测器所输出的检测框的质心坐标输入到预训练好的卷积神经网络中；如果遮挡严重，将检测器所输出的检测框的质心坐标输入到卡尔曼滤波器中，根据目标之前的运动状态来估计该目标在下一帧中的位置信息，得到估计的坐标信息即质心坐标预测值；

所述卷积神经网络是以ResNet为基础网络，ResNet层之后，通过使用更深层次的卷积层，将超过56×56的feature map的空间维度进行缩减；后使用扩展网络逐渐将featuremap缩减到3×3的尺寸，再将提取的feature map进行级联，得到表观特征矩阵；

步骤4，在目标遮挡不严重或未发生遮挡的情况下，利用深度卷积神经网络提取的表观特征矩阵进行相似度估计，得到表观相似度矩阵；在遮挡严重的情况下，利用获取的运动目标的质心坐标检测值和步骤3获取的质心坐标预测值进行指派，得到运动相似度矩阵；

步骤5，利用匈牙利算法，分别将表观相似度矩阵和运动相似度矩阵作为代价矩阵进行数据关联；

步骤6，根据目标遮挡机制，分别利用数据关联矩阵进行轨迹段匹配；

步骤7，利用当前帧完成匹配的检测框更新卡尔曼滤波器，并将当前帧的表观特征矩阵加入到表观特征矩阵集合中，更新表观特征矩阵集合；将未与轨迹段相匹配的检测框初始化一条新的轨迹，设为暂时轨迹段；若连续10帧都能检测到，则将此轨迹段设置为永久轨迹段；将未与检测框相匹配的轨迹段设为暂时状态，继续进行预测，并与下一帧检测结果进行数据关联，并将此轨迹段保留δ_w帧，若该目标连续δ_w帧未被关联，则将该未被关联的预测结果对应的目标的轨迹删除。

2.根据权利要求1所述的基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，其特征在于：步骤1中前期数据准备和预处理方法包括：先对图像帧中的每一个像素值进行成比例缩放，转换成HSV格式，并对图片的饱和度进行缩放，转换成RGB格式，再对图片的尺寸进行放大，裁剪；之后将帧的大小统一固定，最后将帧图像对进行水平翻转。

3.根据权利要求1所述的基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，其特征在于：步骤2中将预处理后的图像输入到FasterR-CNN多目标检测器中，得到帧图像中的所有目标；并假设每帧图片中最多有N_m个目标，非真实的目标的特征向量为0向量。

4.根据权利要求1所述的基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，其特征在于：步骤3中首先采用遮挡判断机制判断目标遮挡情况，再根据目标遮挡的严重程度分别将检测到的目标输入到不同的网络中；如果目标遮挡不严重或未发生遮挡，则提取物体表观特征，并对提取到的物体的特征进行建模；如果目标发生严重遮挡，初始化卡尔曼滤波器参数，利用卡尔曼滤波器进行多目标跟踪，预测出运动目标在下一帧的质心坐标。