[发明专利]人体骨架动作识别方法、系统及介质

说明书

本发明提供了一种人体骨架动作识别方法、系统及介质，包括：数据获取步骤：获取人体骨架数据；动作结构图推断步骤：根据获取的人体骨架运动数据，推断不同关节之间的连接关系，构建以关节为点和以连接关系为边的动作结构图；动作结构特征提取步骤：将获得的动作结构图引入由空间图卷积和时间卷积构成的深度模型中，提取关节的动作语义信息；动作分析与识别步骤：根据提取的关节地动作语义信息，实现动作识别。本发明建模节点在动作中的关系，从而更好地捕捉运动模式，不仅局限于人体的骨架结构，本发明挖掘了动作中关节在运动时的关系，以及关节与生物结构中远距离节点之间的关系，泛化了图结构。

技术领域

本发明涉及视频分析与模式识别领域，具体地，涉及人体骨架动作识别方法、 系统及介质。

背景技术

人体动作识别在视频监控、人机交互和虚拟现实等领域具有广泛应用。其中， 骨架动作是一种人体动作的表达方式，可通过运动学相机采集，被表示为一系列的 关节和骨骼。骨架数据能够有效地表达动作，且具有抗噪能力强，数据维度低等优 势。利用骨架数据进行动作识别具有广泛的应用。

目前的人体骨架动作识别的方法通常是把每一时刻的关节坐标拼接在一起，用特征提取方法来对整个动作序列进行分析。随着深度学技术的发展，卷积神经网络 与循环神经网络也常被用于自动地提取动作特征。然而，在动作的进行过程中，不 同关节之间是有相互依赖的关系的，而这些方法无法挖掘关节之间的依赖。

为了捕捉关节之间的依赖，图可以被用于关节之间的关系建模。图是一种无规 则形状的拓扑结构，在骨架数据中，关节可以被表示为图中的节点，而关节之间的 关系可用图中的边来表示，因此，关节之间的关系得到建模，而关节特征也可以基 于关系互相影响。有方法提出将关节表示为图的节点，将骨骼表示为图的边，可以 有效地捕捉人体结构中邻近关节之间的运动关系。然而，这种建模方式只考虑了在 人体生物学结构中邻近关节之间的关系，对于不同的动作而言，生物结构距离较远 的关节可能会存在更强的语义关系，例如在行走过程中，双手和双脚是在协同运动 的，即动作关系，这种关系比腕关节与肘关节之间的关系更加强烈；另一方面，一 个关节可能与在一定生物结构距离范围内的关节均有关系，例如肩关节与同侧上臂， 即结构关系。基于动作-结构关系，可以建立更加泛化的动作-结构图，从而更精确 地建模人体在运动过程中节点之间的关系。

图卷积网络(Graph Convolutional Network，简称GCN)是近年得到发展的一 类在图结构上进行运算的网络，能有效利用节点关系提取节点特征。其基本思想是 将节点信息在边上进行传播，某个节点可以聚集邻居节点的特征来更新自身特征。 在动作-结构图上，利用GCN可以基于关节关系，提取节点的动作语义特征，从而 更准确地捕捉动作的模式。

实际研究中，本发明着重于解决人体骨架动作识别中的两个核心困难：1)如何 根据动作推断关节之间有效的关系；2)骨架数据的特征远比普通的视频数据稀疏， 在特征提取的过程中有效地保留信息则会对改善动作识别。如何克服上述两个困难， 能够让该模型更充分地提取动作信息，对提升人体骨架动作识别效果具有重要意义。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种人体骨架动作识别方法、系统及介质。

根据本发明提供的一种人体骨架动作识别方法，包括：

数据获取步骤：获取人体骨架数据；

动作结构图推断步骤：根据获取的人体骨架运动数据，推断不同关节之间的连接关 系，构建以关节为点和以连接关系为边的动作结构图；

动作结构特征提取步骤：将获得的动作结构图引入由空间图卷积和时间卷积构成的 深度模型中，提取关节的动作语义信息；

动作分析与识别步骤：根据提取的关节地动作语义信息，实现动作识别。

优选地，所述动作结构图推断步骤包括：