[发明专利]一种基于三维骨骼信息的人体动作识别方法

摘要

本发明公开了一种基于三维骨骼信息的人体动作识别方法，该方法首先对多个不同性别和身高的个体样本分别作出多种动作时得到的彩色数据流、深度数据流和骨骼数据流进行处理，以构建得到分别对应每种动作的SVM模型，之后再采集被识别目标在Kinect深度传感器的采集范围内作出任一动作时的骨骼数据流，并由该骨骼数据流得到的归一化后的人体骨骼关节点与参考点之间的距离以及14个向量夹角，将上述数据分别输入多个SVM模型，输出概率最大的SVM模型对应的动作即为该识别目标作出的动作。本发明采用Kinect深度传感器进行图像获取，受光照条件、阴影等因素影响较小，能够实时获取人体动作的深度图和骨骼信息，从而准确地定位场景中的人体目标。

主权项

1.一种基于三维骨骼信息的人体动作识别方法，其特征在于，包括以下步骤：S1：将Kinect深度传感器固定于与地面平行的相机支架上，保证Kinect深度传感器与地面水平线平行且具有一定的垂直高度，并能拍摄到场景中完整的人体目标；S2：使用Kinect深度传感器分别采集多个不同性别和身高的个体样本分别做出弯腰、单手举手、水平举手、双手举手、拍手、叉腰、踢腿、喝水、站立、抱头、坐、打拳12种动作时的彩色数据流、深度数据流和骨骼数据流；S3：采用计算机中的OpenCV分别将每个个体样本作出12种动作时采集到的彩色数据流、深度数据流以及骨骼数据流转换为彩色图像、深度图像和骨骼图像，并将彩色图像、深度图像和骨骼图像在计算机屏幕上进行显示；S4：分别从每个个体样本作出12种动作时采集到的骨骼数据流中获取到相对应的人体骨骼关节点的三维坐标值，其中，人体骨骼关节点为人体中的以下20个骨骼关节点：头、肩膀中心、左肩、左手肘、左手腕、左手、右肩、右手肘、右手腕、右手、脊柱、臀部中心、左臀、左膝、左脚踝、左脚、右臀、右膝、右脚踝和右脚；S5：分别根据每一个个体样本于站立时，头的空间位置坐标，左脚踝的空间坐标，右脚踝的空间坐标计算出每个个体样本的身高H，其中，身高H的计算公式如下：   （2）其中，为左脚踝与右脚踝中心点的坐标；S6：以臀部中心为参考点，分别计算出每个个体样本作出12种动作时的其余19个人体骨骼关节点与参考点之间的距离；S7：将计算出的每个个体样本作出12种动作时的其余19个人体骨骼关节点与参考点之间的距离分别除以相应的个体样本的身高H，得到归一化后的人体骨骼关节点与参考点之间的距离；S8：根据S4中得到的人体骨骼关节点的三维坐标值，计算以下14对向量之间的向量夹角：【（肩膀中心，头）,（肩膀中心，左肩）】、【（肩膀中心，头）,（肩膀中心，右肩）】、【（肩膀中心，脊柱）,（肩膀中心，左肩）】、【（肩膀中心，脊柱）,（肩膀中心，右肩）】、【（肩膀中心，左肩）,（左肩，左手肘）】、【（左肩，左手肘）,（左手肘，左手腕）】、【（肩膀中心，右肩）,（右肩，右手肘）】、【（右肩，右手肘）,（右手肘，右手腕）】、【（脊柱，臀部中心）,（臀部中心，左臀）】、【（脊柱，臀部中心）,（臀部中心，右臀）】、【（臀部中心，左臀）,（左臀，左膝）】、【（左臀，左膝）,（左膝，左脚踝）】、【（臀部中心，右臀）,（右臀，右膝）】、【（右臀，右膝）,（右膝，右脚踝）】，分别得到每一个体样本在每一种动作时的14个向量夹角；S9：将 S7中得到的归一化后的人体骨骼关节点与参考点之间的距离以及S8中得到的向量夹角经过多分类SVM模型训练，得到12种动作的SVM模型，其中，通过S3步骤中显示在计算机屏幕上的彩色图像、深度图像和骨骼图像所体现的12种动作与SVM模型进行对应；S10：当识别目标出现在Kinect深度传感器的采集范围内时，该识别目标作出站立动作，并使用Kinect深度传感器采集该识别目标的骨骼数据流；S11：从采集到的骨骼数据流中获取到该识别目标的头、左脚踝和右脚踝的三维坐标值；S12：根据步骤S5中的方法计算得到该识别目标的身高H1;S13：在时刻t，当该识别目标在Kinect深度传感器的采集范围内作出任一动作时，Kinect深度传感器采集该识别目标的骨骼数据流；S14：从该识别目标的骨骼数据流中获取到该识别目标的20个人体骨骼关节点的三维坐标值，20个人体骨骼关节点分别为：头、肩膀中心、左肩、左手肘、左手腕、左手、右肩、右手肘、右手腕、右手、脊柱、臀部中心、左臀、左膝、左脚踝、左脚、右臀、右膝、右脚踝和右脚；S15：根据该识别目标的20个人体骨骼关节点的三维坐标值和S12中得到的该识别目标的身高H1，按照步骤S6和S7中的方法计算出该识别目标的归一化后的人体骨骼关节点与参考点之间的距离；S16：根据S14中得到的人体骨骼关节点的三维坐标值，计算以下14对向量之间的向量夹角：【（肩膀中心，头）,（肩膀中心，左肩）】、【（肩膀中心，头）,（肩膀中心，右肩）】、【（肩膀中心，脊柱）,（肩膀中心，左肩）】、 【（肩膀中心，脊柱）,（肩膀中心，右肩）】、【（肩膀中心，左肩）,（左肩，左手肘）】、【（左肩，左手肘）,（左手肘，左手腕）】、【（肩膀中心，右肩）,（右肩，右手肘）】、【（右肩，右手肘）,（右手肘，右手腕）】、【（脊柱，臀部中心）,（臀部中心，左臀）】、【（脊柱，臀部中心）,（臀部中心，右臀）】、【（臀部中心，左臀）,（左臀，左膝）】、【（左臀，左膝）,（左膝，左脚踝）】、【（臀部中心，右臀）,（右臀，右膝）】、【（右臀，右膝）,（右膝，右脚踝）】，得到该识别目标在时刻t时的14个向量夹角；S17：将S15中得到的归一化后的人体骨骼关节点与参考点之间的距离以及S16中的得到的14个向量夹角分别输入至12种动作的SVM模型；S18：比较每种SVM模型的输出概率，输出概率最大的SVM模型对应的动作即为该识别目标在时刻t作出的动作。