[发明专利]一种基于图卷积神经网络的骨架数据行为识别方法

说明书

本发明公开了一种基于图卷积神经网络的骨架数据行为识别方法，其中，方法包括：通过对训练集中的每一段骨架数据的时间维度进行下采样获得时间维度固定的骨架数据，以训练神经网络；将输入数据按照三维坐标拆分成三个通道，对每一个空间通道分别做带双重注意力的图卷积，再将三个通道合并；对合并后的向量作时空卷积；通过标注动作类别更新神经网络权重；最终获得和指定标注结果强相关的行为识别模型。该方法充分利用骨架数据的拓扑结构和时空关系，提高行为识别性能。

技术领域

本发明涉及深度学习、行为识别技术领域，尤其涉及一种基于图卷积神经网络的骨架数据行为识别方法。

背景技术

行为识别一直是计算机视觉领域的一个热点，近年来随着深度学习和计算机视觉的技术融合和发展，行为识别被广泛应用在视频分析、智能监控、人机交互、增强显示等领域。传统的基于彩色视频数据的行为识别方法需要大量的数据，难以学习到视频中的人体关键信息，而基于骨架的三维人体动作识别由于其对人体运动的高水平的表征性和对视角、外观、尺度和环境干扰的鲁棒性，近年来吸引了许多研究人员的兴趣。

基于骨架的三维人体动作识别方法可以分为手工特征提取和深度学习特征提取两大类。其中手工特征提取有基于人体骨架建模的Lie群方法等，这些方法使用相对关节坐标来描述人体动作，忽略了骨架关节的绝对运动和运动的时间信息，这些手工提取的特征难以表征从骨架结构到动作类别这样复杂的非线性映射。而基于深度学习的方法普遍采用循环神经网络、长短时记忆网络、门控循环单元网络、卷积神经网络等方法，这些方法在基于骨架的人体行为识别上取得了较好的效果，但是基于序列的深度学习方法受限于方法本身难以构建深层网络且不能学习骨架本身的拓扑关系，而基于卷积的深度学习方法又难以学习序列的时间信息。

发明内容

本发明针对现有技术中的上述问题，提出的一种基于图卷积神经网络的骨架数据行为识别方法，利用带有双重注意力机制的图卷积模块学习骨架数据的拓扑关系，利用时空卷积模块学习骨架序列的时空特征，适用于基于骨架数据的人体行为识别，可以高效准确地分类骨架点对应的动作。

本发明所采用的技术方案如下：

步骤(1)、将训练集中每一段骨架数据的时间维度进行下采样使得数据的时间维度固定，以训练神经网络；

步骤(2)、将步骤(1)中输入神经网络的骨架数据按空间坐标拆分成三个空间通道，把每一个空间通道分别送入带双重注意力的图卷积模块，再将输出的三个通道合并；

步骤(3)、将步骤(2)中三通道合并后的向量送入时空卷积模块；

步骤(4)、对步骤(3)输出的特征向量使用归一化指数分类器分类，获得动作类别和得分；

步骤(5)、将人工标注的动作类别作为监督，更新神经网络权重。

本发明的有益效果是，相比传统的人工设计的骨架数据行为识别方法，本发明提出一种基于图卷积神经网络的骨架数据行为识别方法，充分利用了骨架数据的时空拓扑关系，可以更准确、快速的分类人体骨架点对应的动作类别。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为根据本发明一个实施例的基于图卷积神经网络的骨架数据行为识别方法的流程图；

图2为根据本发明一个实施例的人体骨架建模示意图，捡东西动作的第1、31和61帧；

图3为根据本发明一个实施例的带双重注意力的图卷积模块，该图中，fc表示全连接，LeakyReLU表示修正线性激活函数，Mask表示掩膜函数，softmax表示归一化指数函数，AveragePooling是全局平均池化，Duplicate是堆叠函数，sigmoid是S型激活函数，input表示输入特征向量，output表示输出特征向量，A表示输入的图结构，T表示转置运算；