[发明专利]基于骨架序列的人类动作识别的语义自适应图网络方法

权利要求书

1.基于骨架序列的人类动作识别的语义自适应图网络方法，其特征在于，该方法包括以下步骤：

S3将目标骨架序列的数据分为动力学特征数据、骨骼数据和语义数据；

S4将目标骨架序列的动力学特征数据、骨骼数据和语义数据进行数据融合；

S6对数据融合操作得到的结果进行自适应GCN操作；

S7对自适应GCN操作得到的结果进行时间维度CNN操作。

2.如权利要求1所述的基于骨架序列的人类动作识别的语义自适应图网络方法，其特征在于，所述步骤S3中的动力学特征数据包括：关节点数据、运动数据和速度差数据；骨骼数据包括：骨长数据和基于速度差的骨长数据；语义数据包括关节类型和帧序号。

3.如权利要求2所述的基于骨架序列的人类动作识别的语义自适应图网络方法，其特征在于，所述步骤S4具体为：

对于目标骨架序列其中T为序列中的总帧数，V为总关节点数，表示在t时刻的关节点v；

选取关节点坐标位置作为关节点数据；对关节点数据进行编码后得到

计算相邻两帧相同关节的差值得到运动数据其中代表关节v在t帧的坐标；代表关节v在t+1帧的坐标；对运动数据进行编码后得到

计算前T-1帧与后T-1帧的速度差值数据得到速度差数据，即对速度差数据进行编码得到

计算源关节点与目标关节点的差值，得到骨长数据为其中，代表人体重心的源关节点；代表其他关节点，即目标关节点；对骨长数据进行编码得到

计算骨长数据的前T-1帧与后T-1帧的差值得到基于速度差的骨长数据对基于速度差的骨长数据进行编码得到

对关节类型进行one-hot编码，得到关节类型向量数据S，再根据对关节类型进行再次编码；

对帧序号进行one-hot编码，得到帧序号向量数据T，再根据对帧序号进行再次编码；

将编码后的关节点数据、运动数据、速度差数据、骨长数据、基于速度差的骨长数据和关节类型进行拼接，得到初始的数据融合结果为：其中BN代表BatchNorm。

4.如权利要求3所述的基于骨架序列的人类动作识别的语义自适应图网络方法，其特征在于，所述步骤S6前还包括：S5根据I计算邻接矩阵A，A＝softmax(θ(I)^T*ψ(I))。

其中θ和ψ均为维度转换函数，θ表示将数据融合得到的结果I的维度从C×V×T转换到V×C_t*T，ψ表示将数据融合得到的结果I的维度转换到C_t*T×V。

5.如权利要求4所述的基于骨架序列的人类动作识别的语义自适应图网络方法，其特征在于，所述步骤S6具体为：根据公式f_out＝∑W_kI(A+D)，进行自适应GCN操作；其中A代表邻接矩阵；D是一个V×V参数矩阵，V×V为邻接矩阵A的维度。

6.如权利要求1至5任一所述的基于骨架序列的人类动作识别的语义自适应图网络方法，其特征在于，所述步骤S7包括：

将帧序号的编码结果和I进行拼接，得到新的数据融合结果

对I′进行空间池化；

对空间池化后的I′进行三层时间维度CNN操作；

对三层时间维度CNN操作后的I′进行时间池化；

将时间池化后的I′通过全连接Softmax进行类别输出。

7.如权利要求1所述的基于骨架序列的人类动作识别的语义自适应图网络方法，其特征在于，所述步骤S3前还包括：S1通过NTU-RGB+D 60和NTU-RGB+D120获得骨架序列数据集。

8.如权利要求7所述的基于骨架序列的人类动作识别的语义自适应图网络方法，其特征在于，所述步骤S1后还包括：

S2对骨架序列数据集进行数据预处理，去除骨架序列数据集中有缺失值的数据和噪声数据；并将骨架序列数据集中的多人行为现象拆分成多帧。

9.如权利要求1所述的基于骨架序列的人类动作识别的语义自适应图网络方法，其特征在于，该方法训练过程中使用Adam优化器进行方法优化。