[发明专利]一种基于骨架图序列异常关节修复的步态识别方法

说明书

本发明公开了一种基于骨架图序列异常关节修复的步态识别方法，步骤如下：(1)利用姿态估计算法从视频中提取待检测步态目标的骨架图序列；(2)根据人体骨架的拓扑结构空间约束和上下文时间约束对骨架图序列进行纠错和平滑处理；(3)将处理好的骨架图的X轴坐标序列和Y轴坐标序列作为网络模型的输入，送入到训练好的CNN网络进行时空特征向量提取；(4)利用Softmax分类器对提取的特征向量进行分类，识别步态身份。本发明能够避免传统步态识别容易受到物体遮挡、衣着、视角和携带物等协变量因素的影响，同时弥补基于姿态检测的步态识别方法带来的识别率不高的问题。

技术领域

本发明属于步态生物特征识别领域，特别涉及一种基于骨架图序列异常关节修复的步态识别方法。

背景技术

步态识别是生物特征识别方法的一种，可以利用步态信息对人的身份进行识别。在智能视频监控领域，步态识别是唯一可在远距离非受控状态下获得的生物技术，尤其在身份鉴别、犯罪预防和法医学鉴定等领域都有着广泛的应用。识别的基本目标是通过获取一段待检测行人正常行走步态的视频，与数据库中的行人步态作对比，找出待检测步态对应于数据库中人物的身份。其优点在于检测的过程无感、非接触、不需要其它人为参与。

目前关于步态识别的方法，大致分为两类：(1)传统方法。相关手工特征建模和传统模式识别的方法，主要包括运动分割与分类、基于模型的特征提取及基于模板匹配和统计的识别方法，基于运动检测、周期检测、特征提取和识别方法；(2)深度学习方法。随着近年来深度学习的发展，步态识别在识别准确率和鲁棒性上都具有大幅度的提升，其中比较突出的方法包括基于姿态轮廓图序列和基于姿态骨架图序列两大类。基于姿态轮廓图序列的步态识别使用前、背景分离技术获得目标的步态轮廓图，对步态轮廓图特征进行识别，其缺点是不适用于复杂背景的场景，且容易受遮挡、衣着、视角和携带物等协变量因素影响。基于姿态骨架图序列的步态识别是在姿态估计的结果基础上发展出的方法，现有的姿态检测缺少上下文的全局信息，对步态检测经常出现漏检和左右腿检测错位的情况，受限于姿态估计的检测精度，这类方法目前仍处于研究的起步阶段。

发明内容

发明目的：针对上述问题缺陷，本发明提供一种基于骨架图序列异常关节修复的步态识别方法，能够避免传统步态识别容易受到物体遮挡、衣着、视角和携带物等协变量因素的影响，同时弥补基于姿态骨架图序列的步态识别方法带来的识别率不高的问题。

技术方案：本发明提出一种基于骨架图序列异常关节修复的步态识别方法，包括如下步骤：

(1)利用姿态估计算法从视频中提取待检测步态目标的骨架图序列；

(2)根据人体骨架的拓扑结构空间约束和上下文时间约束对步骤(1)中得到的骨架图序列进行纠错和平滑处理；

(3)将步骤(2)中处理好的骨架图的x轴坐标序列和y轴坐标序列作为网络模型的输入，送入到训练好的CNN网络进行时空特征向量提取；

(4)利用Softmax分类器对提取的特征向量进行分类，识别步态身份。

进一步的，所述的步骤(1)，利用姿态估计算法从视频中提取待检测步态目标的骨架图序列的具体步骤如下：

采用openpose自下而上的姿态估计算法，即训练深度神经网络，检测出人体的各部分关节点，再根据关节点的矢量关系构建出人体的骨架图，并保持到json文件中。

进一步的，所述步骤(2)中对骨架图序列进行纠错和平滑处理的具体步骤如下：

(2.1)读取json文件获取步骤(1)中保存的骨架图序列坐标数据，对骨架图序列进行分割，每段序列包含连续的16帧骨架图，每张图的大小为88×128，包含14个关节点的位置坐标，其中14个关节点具体为鼻子、脖子、右肩、右手肘、右手腕、左肩、左手肘、左手腕、右臀部、右膝盖、右脚踝、左臀部、左膝盖和左脚踝；