[发明专利]基于集合的跨视角步态识别方法

权利要求书

1.一种基于集合的跨视角步态识别方法，其特征在于，模型具体训练步骤为：

(1)从整个训练集中随机选取p个人，再从这p个人的训练样本中每人随机选出k个视频序列，组成p×k大小的一批数据；

(2)对于一批数据中的每个视频序列，随机抽取n帧，并对每帧提取轮廓图，进行剪裁、对齐预处理后组成用于输入的集合：

χ＝{x₁,x₂,x₃,…,x_n}

x_i代表随机抽取的一帧视频图像预处理之后的轮廓图，x表示一个用于训练的轮廓图集合，n是模型超参数；

(3)对于集合中的每一帧轮廓图x_i，用卷积神经网络提取其高层语义特征图v_i；

所述卷积神经网络共有8层，从输入到输出顺序为卷积层SC_1，卷积层SC_2，池化层SP_1，卷积层SC_3，卷积层SC_4，池化层SP_2，卷积层SC_5，卷积层SC_6，作为主流水线；

(4)对于特征图集合V＝{v₁,v₂,v₃,…,v_n}，用集合池化提取整个集合的特征z_l；

(5)对于第(3)步中卷积神经网络不同层得到的特征图z，分别用集合池化提取不同层的集合特征并用多级全局流水线融合这些特征得到集合特征z_g；

所述多级全局流水线具体步骤为：

(a)用一个5层卷积神经网络，从输入到输出顺序为卷积层GC_1，卷积层GC_2，池化层GP_1，卷积层GC_3，卷积层GC_4；

(b)对主流水线中SP_1，SP_2和SC_6层的结果，用集合池化得到集合特征z_l1,z_l2和z_l；

(c)将z_l1作为GC_1层的输入，GP_1层的输出加上z_l2作为GC_3层的输入；

(d)将GC_4层的输出加上z_l得到最终输出z_g；

(6)对于z_l和z_g，用水平金字塔映射得到62个不同尺度下的判别特征：f₁,f₂,f₃,…,f₆₂；

所述水平金字塔映射的输入为一个3维张量(c×h×w)z，这3维为：特征图通道、特征图高、特征图宽；具体步骤为：

(a)对特征图z进行多尺度分割，尺度总数为为超参数；

(b)对于一个尺度将特征图z在特征图高维上平均分割为2^s份3维张量，总共得到个3维张量f″；

(c)对于每个f″，用下式进行映射：

f＝FC(GAP(f″)+GMP(f″))，

其中,GAP(·)是作用在特征图高和特征图宽维的全局平均函数，GAP(·)是作用在特征图高和特征图宽维的全局最大函数，FC(·)是一个全连接映射；

(7)根据三元损失的定义，使用一批训练样本组成三元组，共可组成pk(pk-k)(k-1)组；

(8)对于每个三元组，用样本对应的f_i计算出62个损失L_i′，并对他们求和得到一个三元组的损失

(9)对所有非0的三元组损失求平均得到总损失L＝∑_L′＞0L′,用总损失训练整个网络。

2.根据权利要求1所述的步态识别方法，其特征在于，模型具体测试步骤为：

(1)输入一个人的步态帧集合这些帧来源于任意视频，集合包含任意数量的帧；

(2)-(5)同训练过程中的步骤(3)-(6)；

(6)拼接62个判别特征，得到判别特征F，用F进行身份识别。

3.根据权利要求1所述的步态识别方法，其特征在于，所述的集合池化的输入为一个4维张量(n×c×h×w)V，这4维为：集合维、特征图通道、特征图高、特征图宽，其有三种实现方式：

(1)最大池化：在集合维度取最大值，输出一个3维张量(c×h×w)；

(2)加权融合池化，具体步骤为：

(a)在集合维度分别取最大、平均和中位数得到3个3维张量x_max，x_mean和x_median；

(b)在特征图通道维拼接3个张量得到一个3×c×h×w的特征图z′；

(c)对z′，输入一个1×1卷积最终得到一个c×h×w的特征图z；

(3)注意力池化，具体步骤为：

(a)在集合维度分别取最大、平均和中位数得到3个3维张量x_max，x_mean和x_median；

(b)复制上述3个3维张量n份并在特征图通道维和V拼接，得到一n×3c×h×w的张量V′，并输入一个1×1卷积得到一个n×c×h×w的注意力掩模a；

(c)利用下式计算最终的特征图z：

z＝∑V×(a+1)，

其中，求和项作用于集合维。