[发明专利]基于深度学习的多目标行人检测与跟踪方法

说明书

本发明公开了一种基于深度学习的多目标行人检测与跟踪方法，包含如下步骤：步骤一：针对输入的视频进行多目标行人检测和关节点提取，并保存获得的位置信息及关节点信息作为下一阶段的输入；步骤二：间隔一定帧数选择一个关键帧，并针对关键帧内的行人进行表观特征提取，即根据步骤一所得的位置信息与关节点信息，分别提取上半身姿态特征和颜色直方图特征，用于关键帧之间的行人关联；步骤三：针对关键帧内的行人进行连续跟踪，过程中使用本发明所提出的阈值慢起步策略、分块匹配率模型检测算法、保存历史状态投票算法与遮挡检测方法来提高跟踪效果，跟踪结束后返回步骤一，重新检测关键帧来保证方法稳定性。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于深度学习的多目标行人检测与跟踪方法。

背景技术

随着计算机计算能力的发展，计算机视觉技术能够逐渐应用于实际生活中，方便人们的生活。在视频监控领域中，监控视频中很重要的一个任务就是发现人并解释其行为。我们需要知道指定目标是否出现在监控系统中以及出现在了什么地方。在视频序列中识别出行人，属于行人检测问题。考虑到时空关联性，在监控视频中识别并跟踪出现在不同监控中某个目标的问题，被称作目标跟踪。行人检测技术是行人跟踪的基础。监控视频中的视频帧有分辨率低下、光照变化明显、遮挡的不足等问题，如何减轻和减少这些不足和因素带来的影响是解决行人跟踪问题的关键。

目前主流的基于深度神经网络的行人检测中，一类是基于Region Proposal的目标检测方法，如SPP-Net、Faster-RCNN等，这一类检测的精度较高。另外，还有基于回归预测的检测方法，如SSD、YOLO等，这类检测的精度虽然不如前一类的精度，但是检测的速度往往更快。在对速度要求不太高的视频分析中，可以使用基于Region Proposal的目标检测。

目前行人跟踪主要基于两种思路：一方面，不依赖于任何先验知识，直接从图像的序列中检测到运动行人，进行行人识别，最终跟踪到运动行人；另一方面，依赖于运动行人的先验知识，先为运动行人建模，再在图像序列中实时找到相匹配的运动行人。

对不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步。运动检测即在序列图像中利用块匹配、光流估计等方法将变化区域从背景图像中提取出来。对于依赖于运动目标先验知识的跟踪，可以分为基于主动轮廓的跟踪算法，基于特征的跟踪，基于区域的跟踪，基于模型的跟踪。

同时，跟踪行人距离相机的距离不同导致其在相机内成像大小往往会发生变化，而目前现有的大多数的方法很少考虑到行人成像变化的问题，如Struck算法，CT算法，KCF算法，ASLA算法等，这将会导致跟踪框精度下降，影响行人跟踪效果。一些由于考虑缩放问题而带来的精度问题都是通过行人检测的方式获取行人较为准确的大小，再做关联匹配的，然而这类方法通常需要给定行人类型，并且在行人受到遮挡时经常会检测不到或者检测错误。

在实际应用中，由于遮挡问题大多与环境语义相关，所以目前的行人跟踪算法大多数对障碍物遮挡不作处理，完全遮挡后即丢失行人并且无法重识别，但现实中的监控视频很少有无遮挡的广阔视野，跟丢情况频繁发生。所以针对现有的跟踪算法，本发明在检测到行人以后提出了新的遮挡检测策略和跟丢重识别策略，采用动态的更新方式。最后对于跟踪丢失的情况会扩大搜索范围并根据单相机内的跟踪结果对丢失的情况进行轨迹恢复。

本发明所提出的一种基于深度学习的多目标行人检测与跟踪方法，在行人检测上使用最近在准确度上一直领先的深度学习方法，每间隔一定帧数进行一次检测，加快了整个方法中跟踪的效率。在关键帧间行人匹配上，综合利用了多种行人特征，不仅能够准确的检测、识别出行人，而且在视角变化、遮挡等多种干扰下仍能稳定的跟踪行人，可以应用于视频监控、异常行为分析等现实场景。

发明内容

本发明的目的之一在于提出一种基于深度学习的多目标行人检测与跟踪方法，以提高在视频监控中，在视角、姿态、遮挡等多种干扰因素下，如何较为快速准确的检测到行人、识别行人并对行人进行跟踪。