[发明专利]区分并增强时空特征的图卷积神经网络人体动作识别方法

说明书

本发明公开了一种自动区分并增强时空特征的图卷积神经网络的人体动作识别方法，首先是基于神经网络自编码器的构造；其次通过一种新的表示无监督学习训练原理实现自动编码器的人体骨架信息压缩和自动编码降维；然后设计一种机制来在任何给定的时间步生成参考向量，将能够相对于生成的参考旋转隐藏状态；接着对旋转储存器网络模型构建原理及实现；最后对旋转储存器网络模型的激活函数进行分析和选择并对自动区分并增强时空特征的图卷积神经网络模型构建。本发明可以有效的提高人体动作识别的准确率。

技术领域

本发明涉及模式识别与计算机视觉领域，尤其涉及一种自动区分并增强时空特征的图卷积神经网络的人体动作识别方法。

背景技术

近年来，已经提出了多种动作表示方法，包括基于时间和空间变化的局部和全局特征，基于关键点跟踪的轨迹特征，动作基于深度信息而变化，动作特征基于人的姿势变化等。随着深度学习在图像分类和目标检测中的成功应用，许多研究人员也将深度学习应用于人体动作识别。这样可以从视频数据中自动学习动作特征。另外，也有一些研究回顾了这些动作识别方法。但是，这些文献仅讨论了特定方面，例如，基于空间时空兴趣点(STIP)的人类动作识别方法，人类步行分析方法和基于深度学习的方法。最近许多研究者提出了一些创新性的研究思路，特别是在将深度学习方法应用于特征学习方面。在最新的研究成果中，包括动作分类，人-物体交互识别和动作检测方法。将动作分类方法概括为基于手工特征的方法和基于特征学习的方法。这些方法可以应用于不同类型的数据。

随着深度相机的发展，深度数据现已广泛用于许多计算机视觉任务中，尤其是对人体的姿态估计进行人体骨架数据的提取。此外，有关RGB视频中的人体检测和姿态估计的最新研究结果表明，基于深度学习的方法可以在复杂场景中实现多人姿态估计。还提出了几种基于深度序列和骨架数据的人体动作识别技术。这些方法在一定程度上解决了RGB摄像机或视频对人体动作识别的一些问题，并表现出良好的识别性能。Ye等人总结了使用深度数据和Presti等人的人类动作识别方法并讨论了基于3D骨架数据的人体动作识别方法，在一定程度上肯定了他们的研究方向。

基于骨架数据的人体动作识别存在的如下问题：

(1)传统的骨架建模人体动作识别模型在时空建模时，会产生大量的信息人体骨架信息，这些时空信息不仅对识别模型没有帮助，甚至还会识别模型有负面的影响，即冗余。并且，在实际的应用场景，特别在安防场景下，因为要计算这些时空信息，会消耗大量的计算资源。

(2)不同的动作在人体中具体表现部位是各有不同的，例如拍肩膀的动作，应该注重的是手部以上的信息，而手部以下的信息可以忽略不计，在传统的模型中，并没有对这点进行考虑和分析，导致模型识别的准确率和鲁棒性无法提升。

发明内容

针对上述问题，本发明提供一种自动区分并增强时空特征的图卷积神经网络的人体动作识别方法。目的在于解决传统的骨架建模人体动作识别模型在时空建模的信息冗余和无法关注重点的骨架信息等问题。在其实现的过程中，首先是基于神经网络自编码器的构造；其次通过一种新的表示无监督学习训练原理实现自动编码器的人体骨架信息压缩和自动编码降维；然后设计一种机制来在任何给定的时间步生成参考向量，将能够相对于生成的参考旋转隐藏状态；接着对旋转储存器网络模型构建原理及实现；最后对旋转储存器网络模型的激活函数进行分析和选择并对自动区分并增强时空特征的图卷积神经网络模型构建。本发明可以有效的提高人体动作识别的准确率。

为实现上述目的，本发明具体采用以下技术方案：一种自动区分并增强时空特征的图卷积神经网络的人体动作识别方法，包括以下步骤：

一种自动区分并增强时空特征的图卷积神经网络的人体动作识别方法，其特征在于，包括以下步骤：

步骤S1：将神经网络产生的骨架肢体信息输入到基于神经网络的自动编码器中，将通道数和骨架信息进行压缩降维；

步骤S2：将降维之后的通道数和骨架信息输入到旋转存储器网络中，针对不同的动作类别产生不同的注意力权重；