[发明专利]一种基于差分指导表示学习网络的骨骼动作识别方法

说明书

本发明公开了一种基于差分指导表示学习网络的骨骼动作识别方法，步骤如下：获取骨骼动作序列；计算骨骼动作序列的差分值得到差分序列；将差分序列输入差分信息模块，由长短期记忆网络得到差分特征表示；将骨骼动作序列和差分特征表示输入原始信息模块，使用差分特征表示来指导骨骼动作序列的表示学习，得到原始序列特征表示；拼接差分特征表示和原始序列特征表示，由多尺度卷积神经网络提取多尺度特征，使用最大池化操作得到池化表示；将池化表示输入全连接层进行分类。本发明使用长短期记忆网络来建模骨骼动作序列的差分信息以指导骨骼动作序列的表示学习，使用多尺度卷积神经网络提取骨骼动作序列的多尺度特征，提高了骨骼动作识别的准确率。

技术领域

本发明涉及骨骼动作识别技术领域，具体涉及一种基于差分指导表示学习网络的骨骼动作识别方法。

背景技术

作为计算机视觉的重要分支，人体动作识别具有广泛的应用。传统的研究主要从二维摄像机录制的视频中识别动作。但是，人体的动作通常在三维空间中被表示和识别。因此，近年来，基于三维人体骨骼的动作识别方法也引起了关注，被广泛应用于人机交互和虚拟现实等场景。在人体骨骼的动作识别问题中，人体由三维骨骼组成，人体的运动由骨骼关节在三维空间中的运动来表示。

基于人体骨骼的动作识别通常被认为是一个时间序列问题。传统方法使用k均值聚类、支持向量机和隐马尔可夫模型等机器学习方法对人体相邻关节点进行估计，识别不同的动作。然而，传统方法不能有效地建模骨骼动作序列的复杂时序信息和运动模式，导致骨骼动作识别效果较差。并且，传统方法较难处理不同长度的骨骼动作序列。

随着深度学习的发展，许多基于神经网络的方法被应用于骨骼动作识别。其中，较为常用并且效果较好的是循环神经网络和长短期记忆网络，因为它们使用循环的结构，可以更好地建模骨骼节点序列的时序依赖信息。然而，现有的骨骼动作识别方法没有充分建模骨骼序列的差分信息，差分信息反映了骨骼序列的动态演化，在骨骼序列的表示学习中起着重要作用。差分值较大的骨骼序列片段意味着更大范围的运动，这为骨骼动作识别提供了重要信息。因此，目前亟待使用差分信息来指导神经网络的表示学习，以提高骨骼动作识别的准确率。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于差分指导表示学习网络的骨骼动作识别方法，该方法采用长短期记忆网络学习骨骼动作序列的差分信息，然后通过差分信息来指导神经网络的表示学习，以提高骨骼动作识别的准确率。

本发明的目的可以通过采取如下技术方案达到：

一种基于差分指导表示学习网络的骨骼动作识别方法，所述的骨骼动作识别方法包括以下步骤：

S1、获取骨骼动作序列数据，对数据进行预处理；

S2、计算所述的骨骼动作序列的差分值，得到差分序列，将差分序列输入差分信息模块，使用长短期记忆网络计算得到差分特征表示，然后将骨骼动作序列和差分特征表示一起输入原始信息模块，使用差分特征表示来指导骨骼动作序列的表示学习，得到原始序列特征表示；

S3、拼接所述的差分特征表示和原始序列特征表示，使用多尺度卷积神经网络提取骨骼动作序列的多尺度特征，再使用最大池化操作得到池化表示；

S4、将所述的池化表示输入全连接层进行分类。

进一步地，所述的步骤S2中差分特征表示和原始序列特征表示的计算过程如下：

S2.1、计算步骤S1得到的骨骼动作序列的差分值，得到差分序列：

给定原始的骨骼动作序列X＝{x₁,x₂,…,x_t…,x_T}，其中T是骨骼动作序列的长度，相应的差分序列计算如下：