[发明专利]应用于人机协作中的基于分割人体模型的动作识别方法

权利要求书

1.一种应用于人机协作中的基于分割人体模型的动作识别方法，其特征在于步骤如下：

步骤1、对待识别动作序列和动作模板进行预处理：

1、将实时分割完成的Kinect V2传感器的动作序列数据采用点云文件格式存储，存储过程为：关节数据共有N帧，用一个25*N的点云C来存储关节数据，将第k帧中的第i关节点视为三维空间中的一个点该点在点云中表示为C[25*k+i]，该点在第k+1帧中对应的点在点云中表示为C[25*(k+1)+i]，其中l＝0.3m为定义的帧间距离；

2、提取点云文件格式存储的动作序列数据，进行坐标转换：缩放、旋转和平移

平移过程为：采用HipCenter作为参考点，将其他关节点的坐标减去参考点的坐标作为平移后的关节点的坐标；

缩放过程为：选取平移后的两组特定关节的坐标，ShoulderLeft、ElbowLeft和ShoulderRight、ElbowRight，并使用多帧关节数据计算其平均欧拉距离d_actual，针对两个关节间距，定义标准距离d_standard，计算得缩放因子：在每帧中，将其他关节点的(x,y,z)坐标均乘以缩放因子；

旋转过程为：平移前关节坐标为(x,y,z)，平移后关节坐标为(x',y',z')，有：

x'＝xcosθ+zsinθ

y'＝y

z'＝-xsinθ+zcosθ

其中：角度θ为每帧中的HipLeft和HipRight两关节连线绕原点旋转至与Kinect摄像机坐标系的X轴平行需要转过的角度；

步骤2、对人体模型进行分割和特征提取：

将人体模型分割为上肢、躯干和下肢，其中：

上肢包含：ElbowRight为B点，WristRight为C点，ElbowLeft为E点，WristLeft为F点；

躯干包含：HipCenter为O点，Spine为G点，ShoulderCenter为S点，Head为H点，ShoulderRight为A点，ShoulderLeft为D点，HipLeft为P点，HipRight为Q点；

下肢包含：KneeRight为K点，AnkleRight为N点，KneeLeft为L点，AnkleLeft为M点；

对三部分进行特征提取如下：

使用关节相对向量作为第一特征：

上肢：

躯干：

下肢：

使用关节相对位置的布尔值矩阵作为第二特征

上肢：

将上表中三四行合并为一行，得到一个判断上肢关节点在Z方向上的大致运动、由布尔值构成的3*2的矩阵；

在Y方向上：

同理，将上表中三四行合并为一行，得到一个判断上肢关节点在Z方向上的大致运动、由布尔值构成的3*2的矩阵；

在X方向上：

将上表中三四行合并为一行，得到一个判断上肢关节点在X方向上的大致运动、由布尔值构成的3*2的矩阵；

将三个维度的特征矩阵按ZYX横向排列，可以得到一个3*6的特征矩阵，其元素均由布尔值构成，使用该矩阵可以较为准确的得到上肢的运动状态；

躯干：

在Z方向上：

得到一个由布尔值构成的1*3的行向量，大致描述躯干在Z方向上的运动；

在Y方向上：

得到一个由布尔值构成的1*3的行向量，大致描述躯干在Y方向上的运动；

在X方向上：

得到一个由布尔值构成的1*3的行向量，大致描述躯干在X方向上的运动；

将三个维度的特征矩阵按ZYX上下排列，得到一个3*3的特征矩阵，其元素均由布尔值构成，使用该矩阵可以较为准确的得到躯干的运动状态

下肢：

在Z方向：

将上表中三四行合并为一行，得到一个由布尔值构成的3*2的矩阵，使用该矩阵判断下肢关节点在Z方向上的大致运动；

在Y方向：

得到一个1*2的行向量，加入一个元素1保持格式的一致性，得到一个1*3的行向量，将其转置得到一个3*1的特征列向量；

在X方向：

将上表中三四行合并为一行，得到一个判断下肢关节点在X方向上的大致运动、由布尔值构成的3*2的矩阵；

将三个维度的特征矩阵按ZYX横向排列，得到一个3*5的特征矩阵，其元素均由布尔值构成，使用该矩阵得到下肢的运动状态；

步骤3、提取关键帧：使用第二特征分别对上肢、躯干、下肢提取关键帧

以第N帧的特征矩阵与第N-1帧的特征矩阵进行比较，当特征矩阵变化值大于σ时，将该帧作为关键帧，否则该帧不作为关键帧；

其中：

M∈C^i×j

将所提取的关键帧组成待识别动作；

步骤4、进行匹配：

采用DTW算法对待识别动作与动作模板的三个部分进行匹配，得到上肢、躯干、下肢的动作类型；

步骤5、与模板进行对照：

对每个动作模板的三部分动作进行分类，将步骤4得到的三个部分的动作类型与模板进行对照，得到整个动作的类型，完成动作识别。