[发明专利]一种基于时空特征融合的步态分类方法

说明书

本发明涉及一种基于时空特征融合的步态分类方法，首先对步态视频进行随机稀疏时序采样得到时序步态图像集，并在此基础上，通过对时序增强子网络和残差子网络的输出融合大幅度提升了对空间维度和时间维度上步态信息的提取能力，从而缓解了步态视频采集视角变化和着装不同等因素对步态特征提取的干扰，有效地提升了步态分类的正确率。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于时空特征融合的步态分类方法。

背景技术

步态作为人类生物特征的重要成员之一，与人脸、指纹、虹膜等其它生物特征相比，具有易于远距离采集、无需被识别对象刻意配合、难以长时间伪装等优点，因此，步态分类是人类身份识别应用领域中的重要技术。然而，由于步态视频采集视角的变化和被识别者着装的差异等因素的影响，基于步态的身份识别仍然面临着诸多挑战，其分类和识别的正确率难以达到实际应用的要求。

发明内容

针对现有的步态分类的不足，本发明提出一种基于时空特征融合的步态分类方法，该方法将深度学习技术融入到步态特征的提取过程中，用以解决步态分类过程中由于视频采集视角变化和着装差异造成的识别率不足的问题。

本发明的目的通过如下的技术方案来实现：

一种基于时空特征融合的步态分类方法，该方法具体包括如下步骤：

S1：根据帧率对输入步态视频进行随机稀疏时序采样，具体如下：

将输入步态视频划分为长度为采样间隔F_C的等长图像分组，得到时序步态图像{f₁,f₂,…,f_G}，其中，G为图像分组的个数，F_C＝B×F₀/F_B，B为基准采样间隔，F₀为输入步态视频的帧率，F_B为基准帧率；

S2：随机抽取图像分组中的一个样本进行如下的预处理：

(1)通过高斯背景建模，对人体区域进行粗略分割；

(2)对粗略分割的人体区域再经过滤波和形态学操作，得到完整的二值化人体区域图像；

(3)将所述的完整的二值化人体区域图像进行规范化处理，即尺寸调整和中心对齐，减少步态图像的类内差异；

S3：对规范化处理后的二值化图像进行时空步态特征的提取，具体如下：

通过时序增强子网络提取时序步态特征：计算相邻时序特征图之间的差异向量来刻画不同人的步态在时间维度上的属性，再将差异向量输入激活函数得到特征图，最后将所得特征图与规范化处理后的二值化图像相乘来增强步态特征的时序信息；

通过残差子网络提取空间步态特征：利用带有短路链接支路的残差子网络提取时序步态图像集中的空间特征；

S4：重复执行S2～S3，分别对时序增强子网络和残差子网络进行离线训练，并采用交叉熵函数分别计算两个子网络的损失，当损失小于设定的损失阈值时，完成训练，得到训练好的两个子网络以及各自的残差；

S5：取两个子网络的残差的倒数作为权重因子，将两个训练好的子网络进行加权平均融合，得到时空步态特征提取融合网络；

S6：对待测试的步态视频执行S1～S3，分别得到两个子网络输出的时序步态特征和空间步态特征，然后输入S5得到的时空步态特征提取融合网络，从而得到输出的步态分类。

进一步地，所述的S2中将完整的二值化人体区域图像进行规范化处理的步骤具体如下：

(1)在保持图像纵横比不变的前提下，对人体区域进行平移操作，以人体躯干部分的垂直轴线位置为参考，对二值化图像进行中心对齐处理；