[发明专利]一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法

说明书

一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，首先读取视频帧中的任意两帧图像，将预处理过的图像输入到多目标检测器中，得到视频中各帧的检测结果。引入了目标遮挡机制，该判断机制根据目标中心点的坐标和目标的大小来判断，若被遮挡部分较小或无遮挡时，检测器将检测框的质心坐标和预处理视频帧输入到预训练的卷积神经网络中，提取目标的浅层和深层的语义信息，并级联起来构成特征矩阵，再将两帧的特征矩阵进行相似性估计，得到最优轨迹。如果检测到的目标遮挡情况严重，则将检测框的质心坐标输入到卡尔曼滤波器中，根据目标之前的运动状态来估计该目标在下一帧中的位置信息，用估计的坐标信息和实际检测结果相比对，得出最佳的轨迹。

技术领域

本发明属于智能视频多目标追踪技术领域，具体涉及一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法。

背景技术

如何构建一个安全和谐的社会治安环境，从而有效保护国家与人民的生命与财产安全，是摆在各国政府面前的一个艰难而又亟待解决的重要课题。视频监控系统是安防系统的重要组成部分，其先通过前端视频采集设备(如摄像头)获取实时的视频帧，然后通过人工浏览或智能视频分析等技术对监控场景进行实时监控，是一种防范能力较强的综合系统。多目标检测与跟踪系统，作为视频分析技术的核心部分，是通过计算机视觉、机器学习、图像处理等技术对视频中的多个运动目标进行可靠稳定检测与跟踪的。目前主要使用的目标检测算法可分为两类，一类是基于背景差分法和帧间差分法等传统的目标检测方法，这类方法运算速度快，对单一不变的背景情况下检测效果较好，但同时易受天气、光线强度的影响，特别是对光线较暗或者有阴影的目标的检测效果较差。另一类是基于深度神经网络的目标检测，主要是基于RegionProposal的目标检测方法，如Fast-RCNN、Faster-RCNN等。

与此同时目前的目标跟踪技术主要存在以下不足：(一)大多是面向半自动的单目标跟踪系统，还需要人工的参与，效率较低且无法满足多个目标的跟踪要求；(二)即使目前已有小部分多目标跟踪系统，但这些系统运算复杂度过高，较难满足视频监控的实时性要求且难以保证跟踪结果的准确性。

发明内容

本发明的目的之一在于提出一种卡尔曼滤波与多特征融合的多目标跟踪方法，提高在视频监控中，在视角、姿态、遮挡等多种干扰因素下，如何较为快速准确的检测到目标并对目标进行跟踪的问题。

一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，所述方法包括以下步骤：

步骤1，将长视频序列中，最大间隔为δ_b的任意两帧图像进行预处理；

步骤2，将预处理后的图像输入到Faster R-CNN多目标检测器中；

步骤3，首先判断Faster R-CNN多目标检测器输出的检测结果的遮挡情况，如果遮挡不严重，将预处理后的两帧图像和检测器所输出的检测框的质心坐标输入到预训练好的卷积神经网络中；如果遮挡严重，将检测器所输出的检测框的质心坐标输入到卡尔曼滤波器中，根据目标之前的运动状态来估计该目标在下一帧中的位置信息，得到估计的坐标信息即质心坐标预测值；

所述卷积神经网络是以ResNet为基础网络，ResNet层之后，通过使用更深层次的卷积层，将超过56×56的feature map的空间维度进行缩减；后使用扩展网络逐渐将feature map缩减到3×3的尺寸，再将提取的feature map进行级联，得到表观特征矩阵；

步骤4，在目标遮挡不严重或未发生遮挡的情况下，利用深度卷积神经网络提取的表观特征矩阵进行相似度估计，得到表观相似度矩阵；在遮挡严重的情况下，利用获取的运动目标的质心坐标检测值和步骤3获取的质心坐标预测值进行指派，得到运动相似度矩阵；

步骤5，利用匈牙利算法，分别将表观相似度矩阵和运动相似度矩阵作为代价矩阵进行数据关联；

步骤6，根据目标遮挡机制，分别利用数据关联矩阵进行轨迹段匹配；