[发明专利]应用于人机协作中的基于分割人体模型的动作识别方法

摘要

本发明涉及一种应用于人机协作中的基于分割人体模型的动作识别方法，使用微软Kinect V2传感器采集人体骨骼信息，得到关节节点坐标；经预处理后将骨骼节点序列从四维映射至三维，存储为点云序列的形式；将人体模型分割为上肢、下肢和躯干三部分，分别提取特征向量和关节点相对位置的布尔值特征矩阵，利用布尔值特征矩阵分别提取关键帧，利用特征向量及动态时间规整算法(DTW算法)分别进行模板匹配；最后将三部分的识别结果组合起来，得到对人体整体动作的分类。本发明不仅能达到识别人体整体动作的目的，还能得到对人体上肢、躯干和下肢的动作描述，可以更加详细和精确的识别人体动作与行为，以帮助人机协作下的机器人进行后续的任务规划。

主权项

1.一种应用于人机协作中的基于分割人体模型的动作识别方法，其特征在于步骤如下：步骤1、对待识别动作序列和动作模板进行预处理：1、将实时分割完成的Kinect V2传感器的动作序列数据采用点云文件格式存储，存储过程为：关节数据共有N帧，用一个25*N的点云C来存储关节数据，将第k帧中的第i关节点视为三维空间中的一个点该点在点云中表示为C[25*k+i]，该点在第k+1帧中对应的点在点云中表示为C[25*(k+1)+i]，其中l＝0.3m为定义的帧间距离；2、提取点云文件格式存储的动作序列数据，进行坐标转换：缩放、旋转和平移平移过程为：采用HipCenter作为参考点，将其他关节点的坐标减去参考点的坐标作为平移后的关节点的坐标；缩放过程为：选取平移后的两组特定关节的坐标，ShoulderLeft、ElbowLeft和ShoulderRight、ElbowRight，并使用多帧关节数据计算其平均欧拉距离d_actual，针对两个关节间距，定义标准距离d_standard，计算得缩放因子：在每帧中，将其他关节点的(x,y,z)坐标均乘以缩放因子；旋转过程为：平移前关节坐标为(x,y,z)，平移后关节坐标为(x',y',z')，有：x'＝xcosθ+zsinθy'＝yz'＝‑xsinθ+zcosθ其中：角度θ为每帧中的HipLeft和HipRight两关节连线绕原点旋转至与Kinect摄像机坐标系的X轴平行需要转过的角度；步骤2、对人体模型进行分割和特征提取：将人体模型分割为上肢、躯干和下肢，其中：上肢包含：ElbowRight为B点，WristRight为C点，ElbowLeft为E点，WristLeft为F点；躯干包含：HipCenter为O点，Spine为G点，ShoulderCenter为S点，Head为H点，ShoulderRight为A点，ShoulderLeft为D点，HipLeft为P点，HipRight为Q点；下肢包含：KneeRight为K点，AnkleRight为N点，KneeLeft为L点，AnkleLeft为M点；对三部分进行特征提取如下：使用关节相对向量作为第一特征：上肢：躯干：下肢：使用关节相对位置的布尔值矩阵作为第二特征上肢：将上表中三四行合并为一行，得到一个判断上肢关节点在Z方向上的大致运动、由布尔值构成的3*2的矩阵；在Y方向上：同理，将上表中三四行合并为一行，得到一个判断上肢关节点在Z方向上的大致运动、由布尔值构成的3*2的矩阵；在X方向上：将上表中三四行合并为一行，得到一个判断上肢关节点在X方向上的大致运动、由布尔值构成的3*2的矩阵；将三个维度的特征矩阵按ZYX横向排列，可以得到一个3*6的特征矩阵，其元素均由布尔值构成，使用该矩阵可以较为准确的得到上肢的运动状态。躯干：在Z方向上：得到一个由布尔值构成的1*3的行向量，大致描述躯干在Z方向上的运动；在Y方向上：得到一个由布尔值构成的1*3的行向量，大致描述躯干在Y方向上的运动；在X方向上：得到一个由布尔值构成的1*3的行向量，大致描述躯干在X方向上的运动；将三个维度的特征矩阵按ZYX上下排列，得到一个3*3的特征矩阵，其元素均由布尔值构成，使用该矩阵可以较为准确的得到躯干的运动状态下肢：在Z方向：将上表中三四行合并为一行，得到一个由布尔值构成的3*2的矩阵，使用该矩阵判断下肢关节点在Z方向上的大致运动；在Y方向：得到一个1*2的行向量，加入一个元素1保持格式的一致性，得到一个1*3的行向量，将其转置得到一个3*1的特征列向量；在X方向：将上表中三四行合并为一行，得到一个判断下肢关节点在X方向上的大致运动、由布尔值构成的3*2的矩阵；将三个维度的特征矩阵按ZYX横向排列，得到一个3*5的特征矩阵，其元素均由布尔值构成，使用该矩阵得到下肢的运动状态；步骤3、提取关键帧：使用第二特征分别对上肢、躯干、下肢提取关键帧以第N帧的特征矩阵与第N‑1帧的特征矩阵进行比较，当特征矩阵变化值大于σ时，将该帧作为关键帧，否则该帧不作为关键帧；其中：M∈Ci×j将所提取的关键帧组成待识别动作；步骤4、进行匹配：采用DTW算法对待识别动作与动作模板的三个部分进行匹配，得到上肢、躯干、下肢的动作类型。