[发明专利]一种人体骨架动作的识别方法

说明书

本发明一种人体骨架动作的识别方法，涉及用于识别图形的方法，是一种结合时空注意力与图卷积网络的人体骨架动作的识别方法，充分挖掘不同特征信息的多样性和互补性，利用注意力机制自适应地调整空间结构各关节点的权重值和视频序列各帧的重要性，使用图卷积网络进行人体骨架的动作识别，克服了人体骨架的动作识别方法的现有技术，均存在无法更好地捕获时空特征信息，容易对人体较难动作的识别出现错误的缺陷。

技术领域

本发明的技术方案涉及用于识别图形的方法，具体地说是一种人体骨架动作的识别方法。

背景技术

近年来,随着视频采集传感器的广泛应用及人体姿态估计算法的不断发展,及其在智能视频监控、病人监护系统、人机交互和虚拟现实中的潜在应用，人的动作识别受到了越来越多的关注。基于机器视觉的人体动作识别是将包含人体动作的视频添加上动作类型的标签，其目的是分析理解视频中个人的动作和多人之间的交互行为。

根据输入数据的类型，人体动作识别分为基于RGB视频的方法和基于骨架视频的方法。与RGB图像相比，人体骨架数据具有轻巧、抗背景噪声及鲁棒性强的优点。目前针对人体动作识别的深度学习方法主要有递归神经网络、卷积神经网络和图卷积神经网络。其中，递归神经网络从原始骨架输入中识别人类动作，其中特征学习和时间动态建模由神经网络完成。卷积神经网络轻松构建深度网络，并具备出色的提取高级信息的能力。虽然这些方法显示出令人鼓舞的改进，但是不能推广到从任意形式的人体骨架中提取时空特征信息进行动作识别。因为人体骨架是关节自然连接的不规则的连通图，并不是2D或者3D的网格形式，这样就不能像先前的卷积神经网络一样直接从人体骨架中提取关键的特征信息。为了克服这些缺陷，需要一种新的方法，该方法能够捕获关节空间结构中的特征信息。最近，将卷积神经网络扩展为任意结构图的图卷积网络引起了重视，其明确考虑了非欧几里德空间中关节之间的相邻关系。

有关人体骨架动作识别方法现有技术的报道如下：2015年Yong Du在《The IEEEConference on Computer Vision and Pattern Recognition》上发表的论文“Hierarchical Recurrent Neural Network for Skeleton Based Action Recognition”中，提出了一种用于动作识别的端到端分层RNN，它将整个人体分为五个部分，每个部分被馈送到不同的子网，并且子网的输出是分层融合的。2016年Jun Liu在《EuropeanConference on Computer Vision》上发表的论文“Spatio-Temporal LSTM with TrustGates for 3D Human Action Recognition”中，将LSTM扩展到空间-时间域，以明确建模关节之间的相关性，并引入新的门控机制来处理骨骼数据中的噪声和遮挡。上述这些方法忽略了人体骨架中各关节之间以及两相邻关节边的空间结构特征，从而无法有效利用人体骨架连通图的空间拓扑结构捕捉更重要的时空特征信息，进行动作识别的任务。同时，这些方法针对骨架连通图中各关节点对识别任务的贡献率以及动作视频序列中不同帧对识别任务的影响程度都没有进行充分的考虑。