[发明专利]一种基于时空特征融合的步态分类方法

权利要求书

1.一种基于时空特征融合的步态分类方法，其特征在于，该方法具体包括如下步骤：

S1：根据帧率对输入步态视频进行随机稀疏时序采样，具体如下：

将输入步态视频划分为长度为采样间隔F_C的等长图像分组，得到时序步态图像{f₁,f₂,…,f_G}，其中，G为图像分组的个数，F_C＝B×F₀/F_B，B为基准采样间隔，F₀为输入步态视频的帧率，F_B为基准帧率。

S2：随机抽取图像分组中的一个样本进行如下的预处理：

(1)通过高斯背景建模，对人体区域进行粗略分割；

(2)对粗略分割的人体区域再经过滤波和形态学操作，得到完整的二值化人体区域图像；

(3)将所述的完整的二值化人体区域图像进行规范化处理，即尺寸调整和中心对齐，减少步态图像的类内差异；

S3：对规范化处理后的二值化图像进行时空步态特征的提取，具体如下：

通过时序增强子网络提取时序步态特征：计算相邻时序特征图之间的差异向量来刻画不同人的步态在时间维度上的属性，再将差异向量输入激活函数得到特征图，最后将所得特征图与规范化处理后的二值化图像相乘来增强步态特征的时序信息；

通过残差子网络提取空间步态特征：利用带有短路链接支路的残差子网络提取时序步态图像集中的空间特征；

S4：重复执行S2～S3，分别对时序增强子网络和残差子网络进行离线训练，并采用交叉熵函数分别计算两个子网络的损失，当损失小于设定的损失阈值时，完成训练，得到训练好的两个子网络以及各自的残差；

S5：取两个子网络的残差的倒数作为权重因子，将两个训练好的子网络进行加权平均融合，得到时空步态特征提取融合网络；

S6：对待测试的步态视频执行S1～S3，分别得到两个子网络输出的时序步态特征和空间步态特征，然后输入S5得到的时空步态特征提取融合网络，从而得到输出的步态分类。

2.根据权利要求1所述的基于时空特征融合的步态分类方法，其特征在于，所述的S2中将完整的二值化人体区域图像进行规范化处理的步骤具体如下：

(1)在保持图像纵横比不变的前提下，对人体区域进行平移操作，以人体躯干部分的垂直轴线位置为参考，对二值化图像进行中心对齐处理；

(2)在保持人体躯干部分的垂直轴线位于图像中心位置的前提下，先调整图像的优势维度，再将另一维度两侧等量扩展并填充背景色；所述的优势维度为在保持纵横比对图像进行放大操作时先达到目标尺寸的维度，或者在保持纵横比对图像进行缩小操作时，后达到目标尺寸的维度。