[发明专利]一种基于双视角Kinect关节点融合的人体骨架重建方法

说明书

本发明公开了一种基于双视角Kinect关节点融合的人体骨架重建方法，首先使用两台Kinect设备采集同一运动人体关节点三维坐标数据，构建包含N个类别的多视角人体运动序列数据库，包括主视角关节点三维坐标数据库、辅助视角关节点三维坐标数据库；对两视角提取的关节点进行时空统一，使用旋转矩阵和平移矩阵将辅助视角采集到的关节点坐标转换到主视角坐标系中，然后滤波修正，将主视角丢失或者不准确的关节点用辅助视角经过时空统一和滤波修正后的关节点坐标进行补齐，使得主视角的骨架完整；最后两视角都采集到的关节点使用卡尔曼滤波变权重融合进行融合。本发明解决了现有人体骨架采集过程中容易发生遮挡或者关节点丢失的问题。

技术领域

本发明属于人体运动识别技术领域，具体涉及一种基于双视角Kinect关节点融合的人体骨架重建方法。

背景技术

近年来，以Kinect为代表的深度图像传感器在人体动作识别领域中得到广泛应用。Kinect传感器可以根据深度图构建出拍摄人体的关节点骨架图，通过骨架的时空特征可以判断人体动作，然而传统单视角传感器采集的人体关节点数据由于自身遮挡、外物遮挡、传感器数据错误或丢失等问题导致人体骨架数据不准确，直接影响识别准确率。以往重建人体主要是人体点云重建和关节点标记：点云重建需要多个传感器，每个传感器采集人体点云数据，通过坐标转换、数据配对、数据融合重建人体表面点云，点云数据计算量庞大，时空对准容易出现误差；关节点标记方法是使用穿戴式传感器对关节点运动进行采集，设备灵活度差，对实验环境要求严格，费用较高。

发明内容

本发明的目的是提供一种基于双视角Kinect关节点融合的人体骨架重建方法，解决了现有人体骨架采集过程中容易发生遮挡或者关节点丢失的问题。

本发明所采用的技术方案是，一种基于双视角Kinect关节点融合的人体骨架重建方法，具体按照以下步骤实施：

步骤1、使用两台Kinect设备采集同一运动人体关节点三维坐标数据，拍摄速度为30帧每秒，构建包含N个类别的多视角人体运动序列数据库，其中，主视角关节点三维坐标数据库为D^A_skeleton＝V₁,V₂,...,V_i,...,V_N、辅助视角关节点三维坐标数据库为D^B_skeleton＝U₁,U₂,...,U_i,...,U_N，其中i的取值为1到N；

步骤2：对步骤1中两视角提取到的关节点进行时空统一，使用旋转矩阵和平移矩阵将辅助视角采集到的关节点坐标转换到主视角坐标系中；

步骤3：基于卡尔曼滤波的滤波修正，将两视角采集到的关节点数据进行滤波修正，去除数据中的振动，使每个关节点运动轨迹更加平滑，接近关节点的真实运动轨迹；

步骤4：将主视角丢失或者不准确的关节点用辅助视角经过时空统一和滤波修正后的关节点坐标进行补齐，使得主视角的骨架完整；

步骤5：两视角都采集到的关节点使用卡尔曼滤波变权重融合进行融合，使所有关节点坐标数据保持唯一，在骨架完整的情况下保证避免数据冗余。

本发明的特点还在于，

步骤2具体按照以下步骤实施：

步骤2.1、使用Kinect传感器获取主视角和辅助视角两个视角下运动人体的主要关节点三维坐标序列，其中主视角关节点序列为P_n^A，表示主视角A中的n帧序列，辅助视角关节点序列为P_n^B，表示主视角B中的n帧序列；