[发明专利]一种基于骨架图序列异常关节修复的步态识别方法

权利要求书

1.一种基于骨架图序列异常关节修复的步态识别方法，其特征在于，包括如下步骤：

(1)利用姿态估计算法从视频中提取待检测步态目标的骨架图序列；

(2)根据人体骨架的拓扑结构空间约束和上下文时间约束对步骤(1)中得到的骨架图序列进行纠错和平滑处理；

(3)将步骤(2)中处理好的骨架图的x轴坐标序列和y轴坐标序列作为网络模型的输入，送入到训练好的CNN网络进行时空特征向量提取；

(4)利用Softmax分类器对提取的特征向量进行分类，识别步态身份；

步骤(2)中，对骨架图序列进行纠错和平滑处理的具体步骤如下：

(2.1)读取json文件获取步骤(1)中保存的骨架图序列坐标数据，对骨架图序列进行分割，每段序列包含连续的16帧骨架图，每张图的大小为88×128，包含14个关节点的位置坐标，其中14个关节点具体为鼻子、脖子、右肩、右手肘、右手腕、左肩、左手肘、左手腕、右臀部、右膝盖、右脚踝、左臀部、左膝盖和左脚踝；

(2.2)以关节点Neck脖子为原点，以相对固定的Neck坐标到LHip左臀和RHip右臀的中心点坐标的距离为参照进行归一化处理，归一化公式如下：

P^org_i为第i个关节点的原始坐标位置(x^org_i，y^org_i)，P^org_Neck为关节点Neck的原始坐标位置(x^org_Neck，y^org_Neck)，L_NecktoHip为Neck坐标到LHip和RHip的中心点坐标的距离；

(2.3)根据Nose鼻子和Neck所构成关节矢量的角度判断每段序列的步态方向，这里分别对16帧的鼻子x轴坐标和脖子x轴坐标求平均值，当目标相对摄像头为自右向左行走，当目标相对摄像头为自左向右行走；

(2.4)当目标向左行走时，右臂被身体遮挡，现有的姿态估计算法对遮挡关节的检测的准确率较低，删除右臂相关的右肩、右手肘、右手腕3个关节点；当目标向右行走时，左臂被身体遮挡，删除左臂相关的左肩、左手肘、左手腕3个关节点；

(2.5)分析每段步态序列左右对称的两个关节点的离散轨迹其中，0≤n16，t_n＝n，判断当满足或则删除对应{t_n}中的元素以及一对的值，删除漏检的姿态的轨迹点；

(2.6)为删除漏检关节后的轨迹构建全局平滑度函数和实时平滑度函数

(2.7)尝试逐步交换交换后的全局平滑度函数值记为F′_LHip、F′_RHip，实时平滑度函数值为判断当满足F′_LHipF_LHip，F′_RHipF_RHip以及时，交换生效，否则取消交换；

(2.8)对纠正了左右关节姿态的轨迹分别进行三次B样条曲线近似拟合，根据拟合的曲线分别补全步骤(2.5)中被删除的漏检轨迹点，补全后的离散轨迹序列记为其中，0≤n16；

(2.9)对补全后的离散轨迹序列做平滑处理，这里采用基于Kalman滤波器的RTS平滑方法，充分利用上下文信息进行平滑滤波，RTS平滑方法步骤如下：

P＝FP_kF^T+Q

K_k=P_kFP^-1

x_k＝x_k+K_k(x_k+1-Fx_k)

其中，Q为过程误差，P为状态协方差，F为状态转移矩阵，K为滤波器增益；

(2.10)按照对左右Hip关节的处理方法，对左右Knee膝盖、Ankle脚踝关节做同样的纠错和平滑处理。