[发明专利]应用于人机协作中的基于分割人体模型的动作识别方法

说明书

本发明涉及一种应用于人机协作中的基于分割人体模型的动作识别方法，使用微软Kinect V2传感器采集人体骨骼信息，得到关节节点坐标；经预处理后将骨骼节点序列从四维映射至三维，存储为点云序列的形式；将人体模型分割为上肢、下肢和躯干三部分，分别提取特征向量和关节点相对位置的布尔值特征矩阵，利用布尔值特征矩阵分别提取关键帧，利用特征向量及动态时间规整算法(DTW算法)分别进行模板匹配；最后将三部分的识别结果组合起来，得到对人体整体动作的分类。本发明不仅能达到识别人体整体动作的目的，还能得到对人体上肢、躯干和下肢的动作描述，可以更加详细和精确的识别人体动作与行为，以帮助人机协作下的机器人进行后续的任务规划。

技术领域

本发明属于人机交互领域，涉及一种应用于人机协作中的基于分割人体模型的动作识别方法。

背景技术

随着机器人技术的发展，机器人的应用场景越来越广，与其他领域产生了越来越多的交叉和融合，同时就产生了许多需要人与机器人进行协同作业的场景。机器人与人进行协同作业既能解放人的劳动力，在某些时候也可以帮助人规避高风险的操作任务。人机协作是未来智能机器人未来的发展方向之一。

人机协作强调了人的主导作用，应当使机器人在保证安全的前提下尽可能准确的理解人的意图，并根据自身的工作状态和人的工作状态及意图进行下一步任务。因此，在人机协作场景中，需要对人体信息进行检测和识别，以帮助机器人进行下一步任务规划。这些信息包括人体动作信息、位置信息、手势信息、语音信息等等。其中，人体动作信息直接包含了人的工作状态，是人机协作中必须获取的信息之一。

但是，人体动作具有复杂度高、信息量大、不同用户的同种动作可能有差异、不同种动作之间可能具有重复姿势、可能具有无意义动作等等特点，这导致人体动作的识别难度较大，是一个涉及计算机视觉、模式识别、人工智能等多个领域的交叉课题。按照需要的信息类型进行区分，人体动作识别主要有基于RGB图像，基于深度图像和基于骨骼信息等方法。微软Kinect V2传感器可以采集RGB图像、深度图像和追踪人体骨骼关节点数据，因此被广泛用于动作识别领域。

参考文献：田国会，尹建芹，韩旭，等.一种基于关节点信息的人体行为识别新方法[J].机器人，2014，36(3)：285-292.

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种应用于人机协作中的基于分割人体模型的动作识别方法。

技术方案

一种应用于人机协作中的基于分割人体模型的动作识别方法，其特征在于步骤如下：

步骤1、对待识别动作序列和动作模板进行预处理：

1、将实时分割完成的Kinect V2传感器的动作序列数据采用点云文件格式存储，存储过程为：关节数据共有N帧，用一个25*N的点云C来存储关节数据，将第k帧中的第i关节点视为三维空间中的一个点该点在点云中表示为C[25*k+i]，该点在第k+1帧中对应的点在点云中表示为C[25*(k+1)+i]，其中l＝0.3m为定义的帧间距离；

2、提取点云文件格式存储的动作序列数据，进行坐标转换：缩放、旋转和平移

平移过程为：采用HipCenter作为参考点，将其他关节点的坐标减去参考点的坐标作为平移后的关节点的坐标；

缩放过程为：选取平移后的两组特定关节的坐标，ShoulderLeft、ElbowLeft和ShoulderRight、ElbowRight，并使用多帧关节数据计算其平均欧拉距离d_actual，针对两个关节间距，定义标准距离d_standard，计算得缩放因子：在每帧中，将其他关节点的(x,y,z)坐标均乘以缩放因子；

旋转过程为：平移前关节坐标为(x,y,z)，平移后关节坐标为(x',y',z')，有：