[发明专利]一种基于人体骨架数据的人体行为识别方法

说明书

本发明提供一种基于人体骨架数据的人体行为识别方法，包括：通过摄像机拍摄包含各种运动的不同时间长度的视频，以此建立训练的数据集；利用Openpose算法对数据集中各个视频段的视频帧进行骨骼关节点信息提取，得到骨骼关节点坐标以及关节点置信度；建立AAGC‑LSTM训练模型框架，将关节点数据送入到模型中进行训练，得到相应的行为识别模型；利用训练后的模型对实时视频进行人体行为识别。相比于现有技术，本发明以捕获人体骨架运动的时空特征为出发点打破以人体自然骨架为固有邻接矩阵的束缚，嵌入时空注意力模块，利用高斯函数计算关节相似度，生成自适应关节邻接矩阵，将人体骨架以一种动态的方式进行结合。

技术领域

本发明涉及机器视觉图像处理领域，尤其涉及一种基于人体骨架数据的行为识别方法。

背景技术

行为识别的主要任务是从视频中对人体的行为进行分类。行为识别的应用领域主要包括视频监控，人机交互，体育运动项目的姿态评估等方面。人体骨架数据因其对传感器噪声的鲁棒性以及在计算量和存储空间上的优势，成为了行为识别领域的热点方向。骨架并不像传统意义上的图像以二维或是三维网格形式存在，所以应用传统的卷积网络并不能很好的捕获骨架在空间上的运动特征。而图卷积是用于学习图结构数据的一种通用且极其有效的框架。但由于一般的图卷积网络使用人体自然拓扑结构限制了行为识别任务的灵活性，导致不能捕获不同的高级语义信息。同时，由于人的动作是时间域和空间域共同作用的结果，因此普通的LSTM网络不能捕获时空的共现特征。本发明提出图卷积和长短时记忆神经网络(AAGC-LSTM)结合的方法，可以捕获视频动作的时空共现特征，通过视频实时识别出人体的行为。

发明内容

为克服现有的行为识别现有技术的不足，本发明主要提供了一种基于自适应图卷积和长短时记忆神经网络的人体行为识别方法，捕获视频动作的时空共现特征，通过视频实时识别出人体的行为。

依据本发明的一个方面，提供一种基于人体骨架数据的人体行为识别方法，该方法包括以下步骤：

步骤1：通过摄像机拍摄包含各种运动的不同时间长度的视频，以此建立训练的数据集；

步骤2：利用Openpose算法对数据集中各个视频段的视频帧进行骨骼关节点信息提取，得到骨骼关节点坐标以及关节点置信度，每帧可得到N个关节点和T帧骨骼序列组成的时空图；

步骤3：建立AAGC-LSTM训练模型框架，将步骤S2中的关节点数据送入到AAGC-LSTM模型中进行训练，得到基于自适应图卷积和长短时记忆神经网络的行为识别模型；

步骤4：利用训练后的AAGC-LSTM算法模型对实时视频进行行为识别。

在其中的一实施例中，步骤3还包括步骤：步骤S31：对于Openpose算法得到的骨架序列，利用线性全连接网络将3D关节点坐标映射到高维特征空间，同时将相邻帧相同关节点的坐标差值向量和得到的高维空间骨架特征进行拼接得到充分地原始数据信息。步骤S32：将S31得到的原始骨架数据信息送入LSTM网络中，以消除特征空间的维度差异，得到增强后的特征。步骤S33：使用全局平均池化层以提升特征提取的感受野，使用三层相同的AAGC-LSTM网络提取时空共现特征，并且使用注意力机制获得全局特征和局部特征，经过线性全连接层后使用交叉熵作为损失函数，得到各个动作的概率得分。

步骤S33中的，AAGC模块，使用自适应图卷积提取人体动作的空间特征，该自适应图卷积参数化人体骨架的拓扑结构，且由参数驱动进行参数更新。自适应图卷积的公式表示如下：

其中A_k是人体自然拓扑结构的邻接矩阵，B_k是参数化的邻接矩阵，C_k则是一个基于样本数据的图邻接矩阵，通过嵌入归一化高斯函数计算两个关节点之间的相似度形成邻接矩阵。