[发明专利]一种基于三维骨骼信息的人体动作识别方法有效

专利信息
申请号: 201610289796.6 申请日: 2016-05-04
公开(公告)号: CN106022213B 公开(公告)日: 2019-06-07
发明(设计)人: 叶青;张丽;张永梅 申请(专利权)人: 北方工业大学
主分类号: G06K9/00 分类号: G06K9/00;G06K9/62
代理公司: 北京科龙寰宇知识产权代理有限责任公司 11139 代理人: 孙皓晨
地址: 100144*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明公开了一种基于三维骨骼信息的人体动作识别方法,该方法首先对多个不同性别和身高的个体样本分别作出多种动作时得到的彩色数据流、深度数据流和骨骼数据流进行处理,以构建得到分别对应每种动作的SVM模型,之后再采集被识别目标在Kinect深度传感器的采集范围内作出任一动作时的骨骼数据流,并由该骨骼数据流得到的归一化后的人体骨骼关节点与参考点之间的距离以及14个向量夹角,将上述数据分别输入多个SVM模型,输出概率最大的SVM模型对应的动作即为该识别目标作出的动作。本发明采用Kinect深度传感器进行图像获取,受光照条件、阴影等因素影响较小,能够实时获取人体动作的深度图和骨骼信息,从而准确地定位场景中的人体目标。
搜索关键词: 一种 基于 三维 骨骼 信息 人体 动作 识别 方法
【主权项】:
1.一种基于三维骨骼信息的人体动作识别方法,其特征在于,包括以下步骤:S1:将Kinect深度传感器固定于与地面平行的相机支架上,保证Kinect深度传感器与地面水平线平行且具有一定的垂直高度,并能拍摄到场景中完整的人体目标;S2:使用Kinect深度传感器分别采集多个不同性别和身高的个体样本分别做出弯腰、单手举手、水平举手、双手举手、拍手、叉腰、踢腿、喝水、站立、抱头、坐、打拳12种动作时的彩色数据流、深度数据流和骨骼数据流;S3:采用计算机中的OpenCV分别将每个个体样本作出12种动作时采集到的彩色数据流、深度数据流以及骨骼数据流转换为彩色图像、深度图像和骨骼图像,并将彩色图像、深度图像和骨骼图像在计算机屏幕上进行显示;S4:分别从每个个体样本作出12种动作时采集到的骨骼数据流中获取到相对应的人体骨骼关节点的三维坐标值,其中,人体骨骼关节点为人体中的以下20个骨骼关节点:头、肩膀中心、左肩、左手肘、左手腕、左手、右肩、右手肘、右手腕、右手、脊柱、臀部中心、左臀、左膝、左脚踝、左脚、右臀、右膝、右脚踝和右脚;S5:分别根据每一个个体样本于站立时,头的空间位置坐标,左脚踝的空间坐标,右脚踝的空间坐标计算出每个个体样本的身高H,其中,身高H的计算公式如下:   (2)其中,为左脚踝与右脚踝中心点的坐标;S6:以臀部中心为参考点,分别计算出每个个体样本作出12种动作时的其余19个人体骨骼关节点与参考点之间的距离;S7:将计算出的每个个体样本作出12种动作时的其余19个人体骨骼关节点与参考点之间的距离分别除以相应的个体样本的身高H,得到归一化后的人体骨骼关节点与参考点之间的距离;S8:根据S4中得到的人体骨骼关节点的三维坐标值,计算以下14对向量之间的向量夹角:【(肩膀中心,头),(肩膀中心,左肩)】、【(肩膀中心,头),(肩膀中心,右肩)】、【(肩膀中心,脊柱),(肩膀中心,左肩)】、【(肩膀中心,脊柱),(肩膀中心,右肩)】、【(肩膀中心,左肩),(左肩,左手肘)】、【(左肩,左手肘),(左手肘,左手腕)】、【(肩膀中心,右肩),(右肩,右手肘)】、【(右肩,右手肘),(右手肘,右手腕)】、【(脊柱,臀部中心),(臀部中心,左臀)】、【(脊柱,臀部中心),(臀部中心,右臀)】、【(臀部中心,左臀),(左臀,左膝)】、【(左臀,左膝),(左膝,左脚踝)】、【(臀部中心,右臀),(右臀,右膝)】、【(右臀,右膝),(右膝,右脚踝)】,分别得到每一个体样本在每一种动作时的14个向量夹角;S9:将 S7中得到的归一化后的人体骨骼关节点与参考点之间的距离以及S8中得到的向量夹角经过多分类SVM模型训练,得到12种动作的SVM模型,其中,通过S3步骤中显示在计算机屏幕上的彩色图像、深度图像和骨骼图像所体现的12种动作与SVM模型进行对应;S10:当识别目标出现在Kinect深度传感器的采集范围内时,该识别目标作出站立动作,并使用Kinect深度传感器采集该识别目标的骨骼数据流;S11:从采集到的骨骼数据流中获取到该识别目标的头、左脚踝和右脚踝的三维坐标值;S12:根据步骤S5中的方法计算得到该识别目标的身高H1;S13:在时刻t,当该识别目标在Kinect深度传感器的采集范围内作出任一动作时,Kinect深度传感器采集该识别目标的骨骼数据流;S14:从该识别目标的骨骼数据流中获取到该识别目标的20个人体骨骼关节点的三维坐标值,20个人体骨骼关节点分别为:头、肩膀中心、左肩、左手肘、左手腕、左手、右肩、右手肘、右手腕、右手、脊柱、臀部中心、左臀、左膝、左脚踝、左脚、右臀、右膝、右脚踝和右脚;S15:根据该识别目标的20个人体骨骼关节点的三维坐标值和S12中得到的该识别目标的身高H1,按照步骤S6和S7中的方法计算出该识别目标的归一化后的人体骨骼关节点与参考点之间的距离;S16:根据S14中得到的人体骨骼关节点的三维坐标值,计算以下14对向量之间的向量夹角:【(肩膀中心,头),(肩膀中心,左肩)】、【(肩膀中心,头),(肩膀中心,右肩)】、【(肩膀中心,脊柱),(肩膀中心,左肩)】、 【(肩膀中心,脊柱),(肩膀中心,右肩)】、【(肩膀中心,左肩),(左肩,左手肘)】、【(左肩,左手肘),(左手肘,左手腕)】、【(肩膀中心,右肩),(右肩,右手肘)】、【(右肩,右手肘),(右手肘,右手腕)】、【(脊柱,臀部中心),(臀部中心,左臀)】、【(脊柱,臀部中心),(臀部中心,右臀)】、【(臀部中心,左臀),(左臀,左膝)】、【(左臀,左膝),(左膝,左脚踝)】、【(臀部中心,右臀),(右臀,右膝)】、【(右臀,右膝),(右膝,右脚踝)】,得到该识别目标在时刻t时的14个向量夹角;S17:将S15中得到的归一化后的人体骨骼关节点与参考点之间的距离以及S16中的得到的14个向量夹角分别输入至12种动作的SVM模型;S18:比较每种SVM模型的输出概率,输出概率最大的SVM模型对应的动作即为该识别目标在时刻t作出的动作。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北方工业大学,未经北方工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201610289796.6/,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top