[发明专利]一种社区监控场景下基于人体外观属性和时空上下文的行人多目标跟踪方法

说明书

本发明涉及图像检索、人工智能、深度学习技术领域，具体公开了一种社区监控场景下基于人体外观属性和时空上下文的行人多目标跟踪方法，包括以下步骤：对行人图像数据集进行行人整体和细粒度特征进行初步框取；将经过框取后的数据集作为输入，框取后的行人图像和特征图像部分作为输出，训练FG‑BMM模型；将步骤1中经过细粒度特征标定后的行人图像数据集按照不同时刻进行排列；将排列后的图像数据集依次输入至MPST‑STC模型进行训练，在MPST‑STC模型中，按照STC的原理对步骤1中所有框取的区域建立其空间上下文模型，根据时序将这些空间上下文模型整合，即为时空上下文模型等。本发明能够对行人的人脸以及其它外观图像进行跟踪，并且在遮挡情况下具有较好的鲁棒性。

技术领域

本发明涉及图像检索、人工智能、深度学习技术领域，特别涉及一种社区监控场景下基于人体外观属性和时空上下文的行人多目标跟踪方法。

背景技术

多目标跟踪技术是计算机视觉领域中的一个重要研究课题，是一种在复杂场景下区分人群中的每一个独特个体并且预测这些个体所对应的运动轨迹的方法。多目标跟踪技术在许多相关行业中都具有广泛的应用，并且对不同的跟踪目标具有广泛的适应度，不仅仅是对人进行跟踪，只要特征提取和识别的方法恰当，多目标跟踪技术也可以应用于对车辆、鸟类等其它物体的跟踪。

以行人跟踪场景为例，多目标跟踪技术的实现过程大致可分为以下几步：识别来自于视频段的行人图像，区分图像中的每一个不同的行人；对每一个行人提取其特征，使算法模型能够根据这些特征信息从不同时间段的行人图像中寻找相同特征的行人；对于不同时间下行人图像中的相同行人，建立对应的时空上下文模型，根据该模型可以预测当前行人的未来运动轨迹。简单来讲，多目标跟踪技术依赖于目标检测的手段、特征提取的方式以及数据关联的模型，每一个因素都将影响多目标跟踪技术的鲁棒性和准确性。

综上，多目标跟踪技术目前所面临的难点如下：首先，目标跟踪的第一步是目标检测，特征的选取精度影响目标行人的识别度，在复杂场景下的人群中区分独特的行人往往需要细粒度的特征提取；其次，行人在运动过程中往往会造成特征模糊或缺失，比如行人运动过快或者受到遮挡，此时人体属性的识别精度会影响到多目标跟踪算法在这些特殊情况下的鲁棒性；最后，也是最重要的一点，便是如何为不同时刻图像下的同一行人建立运动轨迹预测模型，该模型往往以行人的时间与空间信息的关联为基础进行设计。目前所出现的运动模型主要有两种：一种是基于物理法则的线性运动模型，另一种则是基于经验的非线性运动模型。前者无需大量数据的分析，只需要给定行人目标当前的运动信息便可以预测行动，受限于规定好的物理法则，这种预判方式无法应对行人运动的突发性或者不规则性变化；而后者虽然能够灵活判断出行人的运动轨迹，但需要大量的经验数据作为基础。

发明内容

为了解决以上多目标跟踪方法目前存在的问题，本发明的目的是提供一种社区监控场景下基于人体外观属性和时空上下文的行人多目标跟踪方法，首先，本发明以基于分块的遮挡处理算法思想为基础，提出细粒度分块标注模型(fine-grained block markmodel，以下称FG-BMM)，该模型能够正确地检测出目标的脸部特征以及穿着特征并对其进行分块，确保多目标跟踪过程中遮挡情况下的鲁棒性。另外，基于FG-BMM对人体外观属性的分块检测，本发明借鉴了传统的STC算法思想，提出多属性短期STC模型(multi-propertyshort-term spatio-temporal context，以下称MPST-STC)，该模型以人脸跟踪为主，考虑到其它外观特征的跟踪，同时设置会话长度以减少模型的复杂度与记忆长度，使模型能够实时地根据人体外观属性的多种特征对行人进行精度更高的跟踪。另外，为了解决短序列多帧图像的预测问题，特别使用了卡尔曼滤波器进行临时建模并预测。

为了解决上述技术问题，本发明的技术方案是：

一种社区监控场景下基于人体外观属性和时空上下文的行人多目标跟踪方法，包括，还包括以下步骤：

步骤1：对行人图像数据集进行行人整体和细粒度特征进行初步框取；