[发明专利]基于时空混合特征的多人步态识别方法

权利要求书

1.一种基于时空混合特征的多人步态识别方法，其特征在于，包括以下步骤：

步骤1.1：使用行人分割与跟踪方法对原始视频帧中的行人进行分割与跟踪；

步骤1.2：将每个行人的步态轮廓序列分别保存至对应文件夹中；

步骤1.3：选择要识别的行人步态轮廓序列，通过步态识别网络提取特征；

步骤1.4：通过欧氏距离度量，输出行人的身份信息。

2.根据权利要求1所述的一种基于时空混合特征的多人步态识别方法，其特征在于，所述步骤1.1中行人分割与跟踪的方法如下：

步骤2.1：利用两个三维卷积对视频帧进行特征提取；

步骤2.2：采用混合掩膜网络，进行行人检测与分割；

步骤2.3：通过关联头扩展混合掩膜网络，将混合掩膜网络产生的区域对应的特征图作为输入并且提取每个区域的关联向量，关联向量之间的欧几里得距离用于将随时间变化的检测关联到轨迹中，从而实现行人的跟踪。

步骤2.4：通过选择与样本距离最远的正样本和距离最近的负样本来计算三元组关联损失，并优化整个跟踪模块，其中关联损失如下：

其中，为视频的检测集，d、e分别为时间帧t_d和t_e的检测，a_d和a_e分别为关联向量，α为阈值。

3.根据权利要求2所述的行人分割与跟踪方法，其特征在于，步骤2.3中提取关联向量的方法为：

步骤3.1：将混合掩膜网络中卷积的最后一层特征图进行不断上采样，并与每一个金字塔阶级的特征图进行加法合并操作，得到新的表征能力更强的不同金字塔层次的特征图；

步骤3.2：将新的金字塔的底层特征图对应区域作为关联模块的输入，提取行人的低维特征。

4.根据权利要求1所述的一种基于时空混合特征的多人步态识别方法，其特征在于，所述步骤1.3中通过步态识别网络提取特征的方法：

步骤4.1：将步态视为一组由连续的行人轮廓组成的序列，通过2个伪三维残差网络主管道分别提取行人轮廓上半身和下半身的时空混合特征。与此同时，把不同层的特征加到多层全局管道中；

步骤4.2：利用水平金字塔池化来提取4个尺度的特征；

步骤4.3：采用三元组损失和中心损失联合训练的方式优化整体网络模型，

其中：

三元组损失函数如下：

上式中，为欧氏距离，和分别为样本、正样本和负样本的特征表达，a为阈值，+的含义是当[]内的值大于0的时候取该值为损失，小于0的时候损失为0。

中心损失函数如下：

上式中，x_i表示全连接层之前的特征，c_yi表示第yi个类别的特征中心。

5.根据权利要求4所述的步态识别模型，其特征在于，步骤4.1中提取行人轮廓上半身和下半身的时空混合特征的方法为：

步骤5.1：将输入的特征图水平分割为上下两个部分，并通过两个伪三维残差网络主管道分别进行特征提取；

步骤5.2：将提取的两部分特征向量在水平金字塔池化时进行拼接。