[发明专利]基于集合的跨视角步态识别方法

摘要

本发明属于计算机视觉和机器学习技术领域，具体为一种基于集合的跨视角步态识别方法。本方法可以使用很少的帧数得到较高的识别结果，并能融合同一个人不同角度、不同衣着配饰的帧从中抽取鲁棒的身份信息。对于一个行人，用其所有视频中的所有帧组成一个集合；将这些帧做预处理，对每帧提出轮廓图并对齐；然后用神经网络对集合中的每一帧分别提取高层语义特征；接着融合每一帧的语义特征得到整个集合的语义特征；最后将集合的语义特征映射进一个具有判别力的空间用于身份识别。相较于基于目前主流的基于模板的步态识别方法和近年发展出的基于视频的步态识别方法，本方法在解决现实问题中使用更加灵活，能充分利用所有信息，并取得最优的识别效果。

主权项

1.一种基于集合的跨视角步态识别方法，其特征在于，模型具体训练步骤为：(1)从整个训练集中随机选取p个人，再从这p个人的训练样本中没人随机选出k个视频序列，组成p×k大小的一批数据；(2)对于一批数据中的每个视频序列，随机抽取n帧，并对每帧提取轮廓图，进行剪裁、对齐等预处理后组成用于输入的集合：x_i代表随机抽取的一帧视频图像预处理之后的轮廓图，表示一个用于训练的轮廓图集合，n是模型超参数；(3)对于集合中的每一帧轮廓图xi，用卷积神经网络提取其高层语义特征图vi；(4)对于特征图集合V＝{v1,v2,v3,…,vn}，用集合池化提取整个集合的特征zl；(5)对于第2步中卷积神经网络不同层得到的特征图，分别用集合池化提取不同层的集合特征并用多级全局流水线融合这些特征得到集合特征zg；(6)对于zl和zg，用水平金字塔映射得到62个不同尺度下的判别特征：f1,f2,f3,…,f62；(7)根据三元损失的定义，使用一批训练样本组成组三元组，共可组成pk(pk‑k)(k‑1)组；(8)对于每个三元组，用样本对应的f_i计算出62个损失L_i′，并对他们求和得到一个三元组的损失(9)对所有非0的三元组损失求平均得到总损失L＝∑L′＞0L′,用总损失训练整个网络。