[发明专利]一种基于人体骨架数据的人体行为识别方法

权利要求书

1.一种基于人体骨架数据的人体行为识别方法，其特征在于，该人体行为识别方法包括如下步骤：

步骤1：通过摄像机拍摄包含各种运动的不同时间长度的视频，以此建立训练的数据集；

步骤2：利用Openpose算法对步骤1的数据集中各个视频段的视频帧进行骨骼关节点信息提取，得到骨骼关节点坐标以及关节点置信度，每个视频帧可得到N个关节点和T帧骨骼序列组成的时空图；

步骤3：建立AAGC-LSTM训练模型框架，将步骤2中的关节点数据送入到AAGC-LSTM模型中进行训练，得到基于自适应图卷积和长短时记忆神经网络的行为识别模型；

步骤4：利用训练后的AAGC-LSTM算法模型对实时视频进行人体行为识别。

2.根据权利要求1所述的人体行为识别方法，其特征在于，步骤3还包括：

步骤S31：对于Openpose算法得到的骨架序列，利用线性全连接网络将3D关节点坐标映射到高维特征空间，同时将相邻帧相同关节点的坐标差值向量和得到的高维空间骨架特征进行拼接得到充分地原始数据信息；

步骤S32：将步骤S31得到的骨架数据信息送入LSTM网络中，以消除特征空间的维度差异，得到增强后的特征；

步骤S33：使用全局平均池化层提升特征提取的感受野，使用三层相同的AAGC-LSTM网络提取时空共现特征，并且使用注意力机制获得全局特征和局部特征，经过线性全连接层后使用交叉熵作为损失函数，得到各个动作的概率得分。

3.根据权利要求2所述的人体行为识别方法，其特征在于，所述AAGC模块使用自适应图卷提取人体动作的空间特征，该自适应图卷积参数化人体骨架的拓扑结构，且由参数驱动进行参数更新，自适应图卷积的公式表示如下：

其中A_k是人体自然拓扑结构的邻接矩阵，B_k是参数化的邻接矩阵，C_k则是一个基于样本数据的图邻接矩阵，通过嵌入归一化高斯函数计算两个关节点之间的相似度形成邻接矩阵。

4.根据权利要求2所述的人体行为识别方法，其特征在于，所述的AAGC-LSTM模块将自适应图卷积嵌入长短时记忆神经网络中，以提取时空共现特征，AAGC-LSTM网络包含三个门：输入门i_t、遗忘门f_t和输出门o_t，通过自适应图卷积得到这些门单元，并且输入X_t，隐藏层H_t和记忆单元C_t都是图结构的数据，AAGC-LSTM各个单元的计算如下：

i_t＝σ(W_xi*gX_t+W_hi*gH_t-1+b_i)

f_t＝σ(W_xf*gX_t+W_hf*gH_t-1+b_f)

o_t＝σ(W_xo*gX_t+W_ho*gH_t-1+b_o)

u_t＝tanh(W_xc*gX_t+W_hc*gH_t-1+b_c)

C_t＝f_t⊙C_t-1+i_t⊙u_t

其中*g表示自适应图卷积操作，W_xi*gX_t表示用W_xi对X_t进行自适应图卷积操作。