[发明专利]一种基于人体骨架的人体行为识别方法及系统

说明书

本发明公开了一种基于人体骨架的人体行为识别方法及系统，包括：获取人体骨架的行为动作与对应的骨架点坐标、骨架点帧间坐标差和骨架特征，构建训练集；根据训练集依次对图卷积网络和基于人体部位的注意力机制网络进行训练，以训练后的图卷积网络和注意力机制网络构建得到行为识别模型；根据行为识别模型对待识别人体骨架进行识别，输出人体行为动作。根据人体骨架关节点的三维坐标、点帧间坐标差和骨架特征等数据，以图卷积网络为主体，采用基于人体部位的注意力机制网络辅助寻找更加具有区分能力的骨架点，对人体行为动作进行分类识别，提高识别精度。

技术领域

本发明涉及行为识别技术领域，特别是涉及一种基于人体骨架的人体行为识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

近年来，基于骨架的人类行为识别变得越来越重要，相对于传统的基于RGB视频的行为识别，基于骨架的方法对背景的适应力更强，对光照条件的鲁棒性更强，同时还拥有较少的计算量。一个人体行为的骨架数据主要是一个骨架序列，骨架序列中的每一帧包含了多个骨架点，每个骨架点包含三维坐标信息，而骨架点的三维坐标则是直接通过多模态传感器(如Kinect等)进行提取，或是采用一些姿态估计算法(如Openpose等)间接地从RGB视频和深度图像视频中获取。

传统的基于骨架的行为识别方法主要有两类。第一类是基于卷积神经网络的方法，该方法主要是将一个骨架序列看作是一副图像，或通过某些技巧将其改变成一幅图像，然后利用卷积神经网络的方法来进行特征提取，最终判断出行为类别；但是发明人认为，通常同一帧上的骨架点的空间上下文相关性并不如RGB像素强，采用基于卷积神经网络的方法会在一定程度上丢失了原本骨架数据中存在的空间信息。

第二类是基于循环神经网络的方法，该方法主要是将一帧上的所有骨架点通过某种方案进行排序并组合，构成一个向量，之后利用循环神经网络来对时间序列进行建模，提取动作特征；但是发明人认为，这类方法存在的问题是无论怎样进行排序，总是无法很好地描述人体骨架在空间中的结构，即同样会丢失空间信息。

由于人体骨架存在着天然的图架构，因此可以将基于图卷积网络的方法引入到基于骨架的行为识别中；然而发明人认为，该方法依然存在一些问题：首先是一个图网络并不能迭代很多层，因为没有池化操作，可能会导致每个骨架点之间的过度平滑化；其次，由于无法采用多层结构拓展感受野，因此在图上相距较远的两个节点之间很难产生联系，然而人类行为动作又很有可能与相距较远的节点相关，比如吃饭动作同时用到了手和头，而手和头在图上相距较远，因此针对此类动作，基于图卷积网络的方法则不能够解决骨架点在图上距离较远而无法产生联系的问题。

发明内容

为了解决上述问题，本发明提出了一种基于人体骨架的人体行为识别方法及系统，根据人体骨架关节点的三维坐标、点帧间坐标差和骨架特征等数据，以图卷积网络为主体，采用基于人体部位的注意力机制网络辅助寻找更加具有区分能力的骨架点，对人体行为动作进行分类识别。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种基于人体骨架的人体行为识别方法，包括：

获取人体骨架的行为动作与对应的骨架点坐标、骨架点帧间坐标差和骨架特征，构建训练集；

根据训练集依次对图卷积网络和基于人体部位的注意力机制网络进行训练，以训练后的图卷积网络和注意力机制网络构建得到行为识别模型；

根据行为识别模型对待识别人体骨架进行识别，输出人体行为动作。

第二方面，本发明提供一种基于人体骨架的人体行为识别系统，包括：

数据获取模块，用于获取人体骨架的行为动作与对应的骨架点坐标、骨架点帧间坐标差和骨架特征，构建训练集；