[发明专利]基于时空混合特征的多人步态识别方法

说明书

本发明公开了一种基于时空混合特征的多人步态识别方法。该方法首先引入混合掩膜网络进行行人检测与分割，并在混合掩膜网络中添加关联头来提取行人的低维特征。然后，选择需要识别的行人轮廓序列，送入基于伪三维残差网络的步态识别模型进行特征提取。该方法利用伪三维残差网络分别提取行人轮廓上半身和下半身的特征，并在水平金字塔池化时进行拼接。最后，通过欧氏距离度量，输出行人的身份信息。本发明公开的多人步态识别方法能够解决复杂场景下无法进行行人步态识别的问题。

技术领域

本发明涉及计算机视觉、模式识别等技术领域，主要涉及的是监控视频中行人的身份识别，它在预防犯罪、法医鉴定和社会保障等方面具有广泛的应用。

背景技术

与其它生物识别技术(例如人脸、指纹和虹膜)不同，步态是一种独特的生物识别功能，它可以在远处识别，而无需受试者的配合。因此步态识别具有较高的实用价值和广阔的应用前景。

在过去的十几年里，步态识别取得了一系列的进展，但是对于步态识别的研究仍然停留在单个行人的步态识别阶段，多人步态识别研究领域仍然属于空白。目前，单人步态识别方法主要可以分为两类：基于模型的方法和基于外观的方法。基于模型的方法通过对人体结构和不同身体部位的局部运动模式进行建模来提取特征。一些早期的基于模型的方法甚至手动标记不同的身体部位，或使用某些特定的设备来获取人体的关节位置，具有沉重的计算代价。后来随着姿势估计的发展，Liao等人在2017年提出了基于姿势的步态识别方法取得了巨大的进展。

基于外观的方法通常使用人体轮廓作为原始输入数据。步态能量图像是最流行的特征之一，它通过对齐轮廓并将其平均来获得，具有较低的计算成本并且可以实现相对较高的识别率。但是这种方法性能仍然不够好，因为步态能量图像会导致某些时间信息丢失。最近，一些研究人员直接使用人体轮廓作为输入数据，而不是使用它们的平均值。Wu等人在2017年首次使用深度学习模型从人体轮廓序列中提取特征。2018年Chao等人将步态视为由独立轮廓而非连续剪影组成的集合，以从该集合中提取不变特征。通过实验表明，帧之间的时间特征可以比步态能量图像取得更好的性能。

单人步态识别技术已经取得了巨大的进展，但是在真实的应用场景下，监控视频中不可能只有单个行人的出现，因此为了解决这种问题，提出了一种基于时空混合特征的多人步态识别方法。

发明内容

发明目的：在真实应用场景下，监控视频中不仅包括单人行走条件下的步态形式，还包括多人行走条件下的步态形式。但是目前的步态识别技术仍然停留在实验室阶段，也就是说视频中不能出现除了目标以外的行人或运动物体。因此本发明希望通过将行人分割与跟踪和步态识别技术相结合，解决多人步态识别问题，从而使得步态识别技术能够真正落到实处，为社会保障方面节省更多的资源。

1、一种基于时空混合特征的多人步态识别方法，其特征在于，包括以下步骤：

步骤1.1：使用行人分割与跟踪方法对原始视频帧中的行人进行分割与跟踪；

步骤1.2：将每个行人的步态轮廓序列分别保存至对应文件夹中；

步骤1.3：选择要识别的行人步态轮廓序列，通过步态识别网络提取特征；

步骤1.4：通过欧氏距离度量，输出行人的身份信息。

2、根据权利要求1所述的一种基于时空混合特征的多人步态识别方法，其特征在于，所述步骤1.1中行人分割与跟踪的方法如下：

步骤2.1：利用2个三维卷积层对视频帧进行特征提取；

步骤2.2：采用混合掩膜网络，进行行人检测与分割；

步骤2.3：通过关联头扩展混合掩膜网络，将混合掩膜网络产生的区域对应的特征图作为输入并且提取每个区域的关联向量，关联向量之间的欧几里得距离用于将随时间变化的检测关联到轨迹中，从而实现行人的跟踪。