[发明专利]基于端到端时空图学习神经网络的人体骨架行为识别方法

说明书

本发明公开了一种基于端到端时空图学习神经网络的人体骨架的行为识别方法，用于人体3D骨架的行为识别问题。具体包括如下步骤：获取用于训练的人体3D骨骼关键点位置数据集，并定义算法目标；对每一帧基于空间位置进行聚类表达，得到空间节点关系；计算每一关节点的时间轨迹，并据此进行关系度量，得到时间节点关系；建立所述时空图学习与图卷积神经网络的联合学习框架；使用所述学习框架估计连续人体3D骨架的行为类别。本发明适用于真实视频中的人体动作分析，面对各类复杂情况具有较佳的效果和鲁棒性。

技术领域

本发明属于计算机视觉领域，特别地涉及一种端到端时空图学习神经网络的人体3D骨架的行为识别检测方法。

背景技术

基于人体骨架行为识别问题被定义为如下问题：在包含多帧的一组人体骨骼关键点位置序列中，预测行为类别。人体骨架关节点常作为一些高层视觉任务的辅助信息，如视频异常行为检测、视频动作识别等。人体骨架行为识别的关键因素包括对于时序结构的建模，关节点之间的对应关系以及计算有效性。传统方法常将人体骨架视作一种静止不变图结构，而没有考虑特定动作下节点之间关联的语义信息。本发明将人体骨架序列看作一个整体的时空图结构，分别利用时间维度和空间维度，学习到特定动作下的节点关联，从而生成更有效地图结构，这在本任务中是非常重要的。

由于统计建模的有效性，目前基于学习的方法逐渐被应用于基于骨架的人体行为识别任务中。现有的基于学习的方法主要采用深度学习框架，输入一组人体骨架序列，输出对应动作概率。深度学习能够有效地解决特征表达的问题。

发明内容

为解决上述问题，本发明的目的在于提供一种基于端到端时空图学习神经网络的人体骨架的行为识别方法。该方法基于深度神经网络，将人体骨架序列看作一个整体的时空图结构，分别利用时间维度和空间维度，学习到特定动作下的节点关联，从而生成更有效的图结构。利用两个模块得到的图结构信息，作为先验被加入到原始的图卷积模型中。从而使模型更具准确性和鲁棒性。

为实现上述目的，本发明的技术方案为：

一种基于端到端时空图学习神经网络的人体骨架的行为识别方法，包括以下步骤：

S1、获取用于训练的人体3D骨骼关键点位置数据集，并定义算法目标；

S2、对每一帧基于空间位置进行聚类表达，得到空间节点关系；

S3、计算每一关节点的时间轨迹，并据此进行关系度量，得到时间节点关系；

S4、建立所述时空图学习与图卷积神经网络的联合学习框架；

S5、使用所述学习框架估计连续人体3D骨架的行为类别。

进一步的，步骤S1中，所述的用于训练的人体骨骼关键点位置数据集，包括相互关联的人体骨架位置序列节点其中表示第t帧、第n个节点的3D位置坐标，N为人体关节点总数，T 为序列帧数；算法目标定义为：预测连续T帧人体骨架序列的动作类别。

进一步的，步骤S2中，所述对每一帧基于空间位置进行聚类表达，得到空间节点关系，具体包括：

S21、对每一帧人体骨骼节点进行K-means聚类算法，得到各节点空间上的相关关系，将该关系表达成为连通矩阵W^t的形式：

其中：W^t_ij表示连通矩阵W^t的第i行第j列的元素；

对所有帧执行上述操作后得到T张连通图的集合：作为算法输入；

S22、对S21中得到的T张连通图集合首先做7×7卷积操作以扩大感受野，卷积操作时应加入ReLU激活函数；然后使用Global Average Pooling将空间尺度缩小为1×1，得到每一帧的重要性得分 m^t；