[发明专利]基于骨骼的图注意力网络动作识别方法及系统

权利要求书

1.基于骨骼的图注意力网络动作识别方法，其特征是，包括：

对获取的动作数据集进行预处理，构建图数据；具体为：

从骨骼序列中获取原始身体数据；

从原始骨架序列中获取去噪数据；

将三个连续帧作为输入序列，每一帧之间根据人体的物理连接进行骨骼间的连接，相邻帧的连接，以同一个点进行时间上的连接；

输入序列为P×T×N×3,其中T＝T₀-2，N＝N₀×3，T₀为原始序列的帧数，N₀为原始序列的关节数，P为每个序列中演员的数量，T为组合之后输入序列的帧数，N为每帧的关节数量，3为每个关节的特征数x,y,z；

构建基于图注意力网络的骨骼动作识别神经网络，网络由归一化层，第一GAT层，激活函数ELU1，第二GAT层，激活函数ELU2，第三GAT层，激活函数sigmoid,全局池化层，全连接层组成；3层GAT中，第一GAT层的注意力头K＝8,每个头输出特征为8，总输出维度为64；GAT层2的注意力头K＝8,每个头输出特征为16，总输出维度为128；GAT层3的注意力头K＝8,每个头输出特征为32，总输出维度为256；基本设置为3*64*1、64*128*1、128*256*1，每层中的数据第一位数代表输入通道，第二位数代表输出通道，第三位数代表步长,将获取的时空特征连接到一个全连接层，再通过softmax进行动作分类；单层GAT的输入是节点特征的集合：

h_t＝{h_t,1,h_t,2,...,h_t,N},h_t,i∈R^F,t∈T,N是节点的数量，F是每个节点的特征数量，T是一个序列中视频帧的数量；

输出结果节点特征的新集合：

计算公式如下：

其中，||代表连接，是正则化的注意力系数，W^k是对应的输入线性变换的权矩阵，N_i是节点i的邻居节点的集合；使用基于图注意力的方法对骨骼的时空信息进行建模，根据不同节点的重要性进行注意力标注，并提取骨骼数据的时空信息；

用训练集训练网络，优化参数，得到基于骨骼的图注意力动作识别网络；

将测试集输入到优化后的网络进行预测，得到对应的动作类别；

所述网络训练、调优的方法为反向传播算法，选择交叉熵为损失函数，以top1、top5衡量准确率,使用Adam优化器为优化函数；

权重初始化，加载数据、模型、优化器，直到所述分类层softmax输出的损失函数值下降并收敛时结束训练。