[发明专利]一种基于深度学习的多视角步态识别方法

权利要求书

1.一种基于深度学习的多视角步态识别方法，其特征在于：包括以下步骤：

S1：通过摄像头采集人的步态，从每段视频序列中随机抽取n帧，通过背景减除法从视频帧中提取步态轮廓图；

S2：将从每段视频中提取的n张目标轮廓图进行剪裁、对齐预处理；

S3：以人体运动的幅度来表示周期性变化，检测一个步态周期内的轮廓图；

S4：以单一通道的步态能量图为基础，将步态序列中的帧映射到不同的通道，根据帧的幅度来确定通道的边界，获得多通道步态模板；

S5：将获得的多通道步态模板组成用于输入的集合，对每个模板提取特征后再将这些特征进行聚合；

S6：选择度量学习的方法，提出具有增强约束的Triplet Loss函数来学习到最优的特征，辨别得到的特征聚合向量来实现识别。

2.根据权利要求1所述的基于深度学习的多视角步态识别方法，其特征在于：步骤S1中，针对室内环境采用直接差分的背景减除方法，针对室外环境采用背景实时更新的背景减除方法；假设B(x,y)和f_n(x,y)分别代表背景图像和当前图像中(x,y)处的像素值，按照公式(1)进行差分运算：

其中，T为设定的阈值，R′_n(x,y)为最终得到的图像。

3.根据权利要求1所述的基于深度学习的多视角步态识别方法，其特征在于：步骤S2中，具体包括以下步骤：

S21：通过遍历原始的步态轮廓图像，找出上、下、左、右边界像素值为1的点，以此来确定人体轮廓的最小矩形框作为人体目标轮廓图像；

S22：将目标轮廓中的每个像素点(x_n,y_n)缩放至(64,64y_n/x_n)，根据公式(2)计算其质心横坐标x_c；

其中x_i为人体轮廓像素点的横坐标，N为总体的像素点数；

S23：归一化轮廓图为64×64大小。

4.根据权利要求1所述的基于深度学习的多视角步态识别方法，其特征在于：步骤S3中，用人体运动的幅度来表示周期性变化，通过检测步态周期来找到一些关键帧，并在一个周期内测量每个步态框架的相对位置；步态轮廓图腿部区域的平均宽度W表示为：

其中h表示个体图像的高度，L_i和R_i分别表示个体第i行中最左侧和最右侧前景像素的位置，0≤α≤β≤1；连续三个波峰或三个波谷之间的时间跨度为一个步态周期。

5.根据权利要求1所述的基于深度学习的多视角步态识别方法，其特征在于：步骤S4中，根据帧的幅度来确定通道的边界，步态轮廓图在一定范围内对应的幅度用T(k)来表示：

其中k为通道数，k＝1,2,...,n_c，m为通道窗口的大小；每个通道中的模板PEI_k用该通道中帧的平均值序列来表示：

其中N_k为该通道内步态轮廓图的数量，B_t为第t帧的轮廓图像；通过式(4)和式(5)得到不同通道的步态模板。

6.根据权利要求1所述的基于深度学习的多视角步态识别算法，其特征在于：步骤S5中，通过提取帧级能量图特征方法来代替提取单一的步态能量图的方法；

给定数据集中的N个人表示为y₁,y₂,...,y_n，每个人只有自己独有的步态轮廓分布p_i，每个序列中的轮廓表示为其中则识别任务表示为：

f_i＝H(G(F(x_i))) (6)

其中函数F通过CNN网络对序列中的每个轮廓图都进行特征提取；函数G将提取到的多幅图像的特征映射到序列级函数中，得到一个聚合特征向量；函数H通过全连接网络对得到的聚合特征向量进行辨别从而实现识别效果。

7.根据权利要求1所述的基于深度学习的多视角步态识别方法，其特征在于：步骤S6中，选择度量学习中的三元组结构其中参考样本记为正样本记为负样本记为三元组经过神经网络映射到特征空间为要求：

其中ε₁为阈值参数，对其距离进行l₂范数归一化处理：

表示和的归一化后的欧氏距离，则Triplet Loss表示为：

添加新的损失函数来增强约束，使得相似样本对之间的距离小于一个设定的阈值τ₂，并且这个阈值小于τ₁，从而使改进的损失函数通过增加约束来增大类间距离和减小类内距离，改进后的Triplet Loss函数表示为：

其中N是训练样本的个数，β平衡了类内和类间距离所占的比重。