[发明专利]人体骨架动作识别方法、系统及介质

权利要求书

1.一种人体骨架动作识别方法，其特征在于，包括：

数据获取步骤：获取人体骨架数据；

动作结构图推断步骤：根据获取的人体骨架运动数据，推断不同关节之间的连接关系，构建以关节为点和以连接关系为边的动作结构图；

动作结构特征提取步骤：将获得的动作结构图引入由空间图卷积和时间卷积构成的深度模型中，提取关节的动作语义信息；

动作分析与识别步骤：根据提取的关节地动作语义信息，实现动作识别。

2.根据权利要求1所述的人体骨架动作识别方法，其特征在于，所述动作结构图推断步骤包括：

动作连接推断步骤：基于变分自编码器，提出一个包含了编码器和解码器的结构，可自动地在动作中推断动作连接，获得关节动作关系A_act；

结构连接获取步骤：将人体中的每个关节与其生物结构与生物结构中预设距离范围内的关节建立连接，获得结构关系A；

动作结构图构建步骤：根据获得的关节动作关系A_act、结构关系A，获得动作结构图。

3.根据权利要求2所述的人体骨架动作识别方法，其特征在于，所述动作连接推断步骤：

所述编码器将动作编码至动作关系图A_act，编码器将任意关节在各时刻的位置连接为一个向量，先令其等于节点的初始特征：对第i个关节，其初始特征为p_i⁽⁰⁾，在第k次迭代中，反复地在关节和其间的关系中传递特征信息，得到第k次迭代时的关节i特征和关节i及j之间的连接特征，分别表示为和计算过程如下：

其中，

表示关节i和关节j之间的连接在第k+1次特征传播时的特征表达，其中i，j分别指人体任意两个关节编号，k表示关节特征传播的次数编号；

k表示，在动作连接推断中，关节特征相互传播的次数编号；

表示关节i在第k次特征传播时的特征表达，其中i指关节编号，k表示关节特征传播的次数编号；

表示关节j在第k次特征传播时的特征表达，其中j指关节编号，k表示关节特征传播的次数编号；

表示关节i在第k+1次特征传播时的特征表达，其中i指关节编号，k表示关节特征传播的次数编号；

表示所有与关节i相关的连接特征表达的集合，用于进一步将与关节i相关的连接特征表达进行聚合，以更新关节i的特征表达；

表示用于提取关节特征的特征提取器，形式为多层感知机，k表示在第k次特征传播后所使用的提取器；

表示用于提取关节之间连接特征的特征提取器，形式为多层感知机，k表示在第k次特征传播后所使用的提取器；

F(·)表示一种进行特征聚合的运算，包括求平均与最大池化等方法；

表示向量拼接操作；

f_v(·)和f_e(·)是用来得到关节与关节间关系特征的多层感知机；

F(·)表示是一种进行特征聚合的运算，包括求平均与最大池化等方法；

经过K次迭代，编码器输出的连接特征被输入至一个Gumbel softmax运算，得到动作连接拓扑张量A_act∈R^n×n×C，其中R表示实数集合，n表示关节个数，C表示连接类型的种类数，n×n×C表示张量的维度，即A_act是由实数构成的n×n×C维张量；其中第i,j,c个元素A_acti,j,c表示关节i和关节j之间的动作连接类型为类型c的概率，在动作识别中，该动作连接拓扑张量表示了所有推断得到的动作连接，被用于关节特征的传播和动作语义特征的提取，其计算方式如下：

其中，

A_acti,j表示i，j两个关节之间的动作连接的推断结果，是一个C维向量，表示共有C种连接类型，每个元素表示关节i，j之间动作连接为该类型c的概率，其中i，j表示关节编号；

表示经过K次特征传播后，i，j两个关节之间连接的特征表达，其中K表示特征传播总次数；

τ表示温度超参数，可控制采样样本的离散化的程度；

R^C表示C维实数向量，即关节之间的动作连接的可能取值共有C类；

softmax(·)是一种运算，定义为向量每个元素的e指数占所有元素的e指数之和的比例，其中e表示自然对数的底；

r是一个随机向量，该向量的每个元素均独立同分布地采样于Gumbel(0,1)分布，其分布的概率密度函数为：

其中，

x表示r中的任意一个元素，f(x)即为在Gumbel(0,1)分布中，取得x的概率；

τ是一个温度超参数，可控制采样样本的离散化的程度；

由此得到任意两个节点之间的任意类型的动作连接张量A_act，即关节动作关系A_act。