[发明专利]基于端到端时空图学习神经网络的人体骨架行为识别方法

权利要求书

1.一种基于端到端时空图学习神经网络的人体骨架的行为识别方法，其特征在于，包括以下步骤：

S1、获取用于训练的人体3D骨骼关键点位置数据集，并定义算法目标；

S2、对每一帧基于空间位置进行聚类表达，得到空间节点关系；

S3、计算每一关节点的时间轨迹，并据此进行关系度量，得到时间节点关系；

S4、建立所述时空图学习与图卷积神经网络的联合学习框架；

S5、使用所述学习框架估计连续人体3D骨架的行为类别；

步骤S4中，所述建立所述时空图学习与图卷积神经网络的联合学习框架，具体包括两个方面：

S41、基于由S2～S3建立的空间节点关系和时间节点关系，得到10个不共享参数的网络，以人体骨骼关键点序列作为该步骤的输入，得到10个空间节点关系图和10个时间节点关系图；

S42、建立10层图卷积网络，每一层加入ReLU激活函数，其中每一层的图结构为S41学习到的空间节点关系和时间节点关系，输出60类行为动作概率值p，公式表示为：

其中，f_GCN()为图卷积网络，θ_GCN为图卷积参数，X为人体骨架位置序列节点，和分别为第i层学习到的空间节点关系图和时间节点关系图。

2.如权利要求1所述的基于端到端时空图学习神经网络的人体骨架的行为识别方法，其特征在于，步骤S1中，所述的用于训练的人体骨骼关键点位置数据集，包括相互关联的人体骨架位置序列节点其中表示第t帧、第n个节点的3D位置坐标，N为人体关节点总数，T为序列帧数；算法目标定义为：预测连续T帧人体骨架序列的动作类别。

3.如权利要求2所述的基于端到端时空图学习神经网络的人体骨架的行为识别方法，其特征在于，步骤S2中，所述对每一帧基于空间位置进行聚类表达，得到空间节点关系，具体包括：

S21、对每一帧人体骨骼节点进行K-means聚类算法，得到各节点空间上的相关关系，将该关系表达成为连通矩阵W^t的形式：

其中：W^t_ij表示连通矩阵W^t的第i行第j列的元素；

对所有帧执行上述操作后得到T张连通图的集合：作为算法输入；

S22、对S21中得到的T张连通图集合首先做7×7卷积操作以扩大感受野，卷积操作时应加入ReLU激活函数；然后使用Global Average Pooling将空间尺度缩小为1×1，得到每一帧的重要性得分m^t；

S23、使用两层卷积操作进一步处理m^t，两层卷积操作时每一层应加入ReLU激活函数，得到每一帧最终的重要性得分s^t，即：

s^t＝f(m^t；θ_spat)

其中θ_spat为卷积参数，f()表示两层卷积操作；

S24、使用S23中得到的重要性得分s^t,对S21中得到的T张连通图集合进行加权平均，得到空间节点关系表达G^Spat：