[发明专利]一种社区监控场景下基于人体外观属性和时空上下文的行人多目标跟踪方法

权利要求书

1.一种社区监控场景下基于人体外观属性和时空上下文的行人多目标跟踪方法，其特征在于：包括以下步骤：

步骤1：对行人图像数据集进行行人整体和细粒度特征进行初步框取；

步骤2：将经过框取后的数据集作为输入，框取后的行人图像和特征图像部分作为输出，训练FG-BMM模型；

步骤3：将步骤1中经过细粒度特征标定后的行人图像数据集按照不同时刻进行排列；

步骤4：将排列后的图像数据集依次输入至MPST-STC模型进行训练，在MPST-STC模型中，按照STC的原理对步骤1中所有框取的区域建立其空间上下文模型，根据时序将这些空间上下文模型整合，即为时空上下文模型；时空上下文模型的用途是计算每个区域中各个点作为下个时刻中该区域的新的中心点的概率；若数据集的长度过少，则临时建立卡尔曼滤波器对行人特征位置进行预测；

步骤5：对MPST-STC模型进行测试，模型的输入为数据集在若干时刻后的后续图像，并且这组图像已经经过FG-BMM模型的标注；假设输入的行人图像集的最后一个图像的时刻为t，那么MPST-STC模型的输出为行人在t+1时刻中的位置。

2.根据权利要求1所述的社区监控场景下基于人体外观属性和时空上下文的行人多目标跟踪方法，其特征在于：在所述步骤1中，还包括对来自于监控视频的数据集进行行人整体和特征的细粒度层面上的框取；对不同时刻的行人主要进行了脸部、躯干、臂膀、下肢部分的框取。

3.根据权利要求1所述的社区监控场景下基于人体外观属性和时空上下文的行人多目标跟踪方法，其特征在于：在所述步骤2中，还包括通过对标定数据集进行纹理特征和形状特征的学习，并且最终能够正确地以矩形选框的方式标定不同时序下相同行人的多个特征。

4.根据权利要求1所述的社区监控场景下基于人体外观属性和时空上下文的行人多目标跟踪方法，其特征在于：在所述步骤4中，还包括FG-BMM模型的识别匹配过程使用了SILTP方法，该方法对标定范围内的特征图像进行三值(00、01、11)编码，最终以三维向量表示分析结果，每一维表示每个编码值存在的个数；运用得到的三维向量分析结果，对每一时刻中的框取特征进行相似度比较，从而确保不同时刻中的相同行人被正确标注，以便MPST-STC方法对其进行跟踪。

5.根据权利要求1所述的社区监控场景下基于人体外观属性和时空上下文的行人多目标跟踪方法，其特征在于：在所述步骤5中，所述MPST-STC模型以FG-BMM模型的分析结果为基础，根据相同行人的每一个特征所对应的框取范围中的像素信息，建立空间上下文信息模型，并且在时序顺序下从前往后进行迭代，将每一个空间上下文信息模型同前一个时刻的模型进行加权整合，最终将r个图像的信息整合，形成时空上下文预测模型；时空上下文预测模型的作用使计算序列中最后一个图像中对应行人特征在下一个时刻有可能出现的位置，对特征框取范围内的像素点计算其概率，概率最高的点即为下一时刻该行人特征最有可能移动到的位置。

6.根据权利要求1所述的社区监控场景下基于人体外观属性和时空上下文的行人多目标跟踪方法，其特征在于：如果图像序列的长度小于会话长度r，则对这些少量图像临时建立卡尔曼滤波器模型，该模型能够根据当前帧的观测值和所学习到的参数对下一帧进行预测，无需较长的历史序列数据；当卡尔曼滤波器的预测公式建立好之后，便可以仅根据当前帧的图像信息预测下一帧的图像信息，将当前帧的观测值作为最优值对下一帧的最优值进行计算。

7.根据权利要求1所述的社区监控场景下基于人体外观属性和时空上下文的行人多目标跟踪方法，其特征在于：对于数据集在若干时刻后的新图像，首先经FG-BMM模型进行自动识别并标注，使新图像中的相同行人下的特征能够同历史图像中的行人相对应；之后，将新图像同历史图像按照一定的比例整合为一个新的时序序列，并且通过MPST-STC为每个图像下相同行人的多个特征建立相应的空间上下文信息模型，并且将每个空间上下文信息模型经过连续的加权整合以形成时空上下文预测模型，该模型在旧图像信息的基础上整合了新图像的信息，能够实时地预测行人特征在下一时刻可能出现的位置；另外，如果在预测点为中心的特征框取范围之内没有识别出有效的特征，则根据上一步的像素点预测结果选择次优值，并且重新将特征框取矩形定位到这个点并且再次进行相应特征的识别，不断地重复上述步骤，直到特征框取矩形内能够识别到对应特征为止；若次优点遍历完毕后仍然无法识别出有效的特征，则认为该行人的特征已经脱离到视野之外。