[发明专利]一种基于注意力机制的神经网络的人体动作识别方法

说明书

本发明公开了一种基于注意力机制的神经网络的人体动作识别方法，该方法提出了一个端到端的可训练网络，包括深度卷积子网络和注意力子网络，用于从骨架数据中识别人类动作。首先，将骨架序列编码为彩色的时空图并馈入深度卷积子网络中以提取深层次特征，并使用全连接层映射到标签空间中。在注意力子网络中，提取表示关节运动重要程度的手工制作的特征，并通过简单但有效的线性映射来学习注意力权重，其结果也通过全连接层映射到标签空间中。二者的结果通过乘法融合，得到最后的识别准确率。本发明可以最大幅度地自动从数据中提取有效的深层次特征。本发明的网络结构包含两个子网络，两个网络同时以端到端的方式进行联合训练而不需要后处理。

技术领域

本发明属于计算机视觉领域，具体来说是一种基于注意力机制的神经网络的人体动作识别的方法。

背景技术

人体动作识别，具有着非常广阔的应用前景，如人机交互，视频监控、视频理解等方面。按目前的主流方法，可主要分为基于RGB数据、深度数据和骨骼数据的人体动作识别。与RGB数据和深度数据相比，骨架数据是更高级的表示形式，并且对视点，位置和外观的变化具有鲁棒性，此外由于骨架关节的复杂时空变化，这是非常具有挑战性的。由于Microsoft Kinect等经济高效的深度相机和实时骨架估算算法的普及，基于3D骨架的人类动作识别引起了越来越多的关注。

传统的手工提取特征的方法虽然也能够取得不错的准确率，但是要求设计特征的人拥有丰富的经验和娴熟的技巧，而且手工特征在不同数据集上的表现差异很大，所以需要更好的方法来进行人体动作的识别。随着深度学习的进步，卷积神经网络(CNN)和循环神经网络(RNN)在过去几年大放异彩，它们在图片分类，物体检测，自然语言处理等领域取得了突出的进展。并且在最近，注意力机制变得流行，因为它可以关注图片中某些重要的区域，从而提高任务的效果。

目前，基于深度学习的骨架数据的动作识别方法，根据骨架序列如何表示并馈入深度神经网络，可分为两类：基于CNN的方法和基于RNN的方法。

第一种方法是通过对骨架序列进行编码来生成纹理图像，然后将纹理图像馈送到CNN中以进行特征提取和分类。例如，将骨架序列的关节坐标编码为矩阵并相对于整个训练数据集进行标准化，其中骨架关节的三个笛卡尔分量(x，y，z)分别被处理为彩色图像的三个通道(R，G，B)。但是，这种标准化不能保证尺度不变性。

第二种方法是从骨架序列的每个时间步骤中提取特征，并将基于帧的特征馈送到循环神经网络中。最近的注意力模型增强了这种方法，所述注意力模型旨在识别对动作分类任务更具辨别力的身体部位或时间步骤。到目前为止，在已经提出的几种方法中，倾向于过分强调时间信息并低估空间信息，空间注意力往往被忽略。同时，基于LSTM、GRU等循环神经网络的方法在识别人体骨架序列时，依赖于大量的时序计算，这限制了骨架序列的处理速度，此外，网络的规模也会随着循环神经网络的引入而大大增加，使得网络的训练花费更多的时间。

除上述之外，基于深度学习的人体动作识别方法特别依赖对于骨架序列的预处理过程，该过程产生的时空特征会直接决定识别质量的好坏，所以如何提取一个很好的时空特征来高效的地识别复杂动作仍然是一个开放性的问题。

发明内容

本发明为基于注意力机制的神经网络的人体动作识别方法，采用端到端有监督的训练方式，通过引入卷积神经网络提取特征和注意力机制捕捉骨骼关键点的策略，有效提高了人体动作识别的精度。

本发明为解决其技术问题采用如下技术方案：

一种基于注意力机制的神经网络的人体动作识别方法，包括如下步骤：

1)构建特征提取和分类神经网络，所述的神经网络包含两个子模型，分别为深度卷积子网络和注意力子网络；

2)构建端到端的有监督训练方案，处理原始骨架序列，将骨架序列编码为由彩色时空图组成的三维矩阵，将其输入到深度卷积子网络中对其进行特征提取，输出一个向量P₁；