[发明专利]基于图卷积网络的细微动作识别方法

说明书

本发明公开了基于图卷积网络的细微动作识别方法，具体按照以下步骤实施：采集人体运动视频，将该视频估计包括骨骼特征的视频，结合骨骼特征数据库，从骨骼特征数据库中选取所有类动作的骨骼特征序列；对包括骨骼特征的视频行处理，得到多个关节对齐光流片序列；搭建图卷积网络；设计图卷积网络的损失函数；初始化图卷积网络中参数；分别将骨骼特征序列、关节对齐光流片序列作为输入，训练图卷积网络，得到训练好的图卷积网络；使用训练好的图卷积网络进行识别，得到未知细微动作类别信息；将每个骨骼关节周围的视觉信息表示为关节对齐的光流片，有效地捕捉有用的身体局部细微运动线索，用于基于骨骼的动作识别。

技术领域

本发明属于计算机视觉技术领域，具体涉及基于图卷积网络的细微动作识别方法。

背景技术

随着计算机视觉技术的发展，人体动作识别成为了计算机视觉领域中一项活跃但具有挑战性的任务。近年来，随着深度传感器和人体姿态估计技术的进步，获得准确的人体姿态数据变得更加容易。在过去的十年里，基于骨骼的人体动作识别引起了广泛的关注并取得了显著的进展。与原始的RGB视频剪辑序列相比，一个带有2D或3D坐标形式的人体关节骨骼序列信息量更稀疏。因此，为基于骨骼的动作识别设计的神经网络可以十分轻量和高效。最近几年也有很多学者进一步开发了各种深度神经网络，试图充分挖掘动态人体骨骼序列的内部特征。

作为单模态动作识别网络的输入，骨骼序列可以有效地描述全身人体运动。然而，在从视频帧中提取人体姿态的过程中，局部细微的运动线索可能会丢失。而且由于骨骼序列的稀疏性，它很难捕捉到人体运动中的细微特征，单纯依靠骨骼序列来识别人的动作有明显的缺点。首先，对于主要以局部细微运动为特征的动作类别，从两个连续帧中提取的骨骼之间的差异非常细微，这对于描述细微动作几乎没有用处。此外，当动作的身体运动较弱时，这种局部细微运动很容易被噪声姿态估计所掩盖。这种限制使得现有的方法不能正确地对仅表现出细微运动差异的动作进行识别以及分类。

发明内容

本发明的目的是提供基于图卷积网络的细微动作识别方法，解决了现有技术中存在的仅稀疏骨骼信息不足以完全表征人体运动的问题。

本发明所采用的技术方案是，基于图卷积网络的细微动作识别方法，具体按照以下步骤实施：

步骤1、采集人体运动视频，将该视频估计包括骨骼特征的视频，结合骨骼特征数据库，从骨骼特征数据库中选取所有类动作的骨骼特征序列；

步骤2、对包括骨骼特征的视频行处理，得到多个关节对齐光流片序列；

步骤3、搭建图卷积网络；

步骤4、设计图卷积网络的损失函数；

步骤5、初始化图卷积网络中参数；

步骤6、分别将骨骼特征序列、关节对齐光流片序列作为输入，训练图卷积网络，得到训练好的图卷积网络；

步骤7、使用训练好的图卷积网络进行识别，得到未知细微动作类别信息。

本发明的特点还在于：

步骤1具体为：采集人体运动视频，使用姿态估计算法根据人体运动视频估计得到包括骨骼特征的视频。

骨骼特征数据库中包括NTU RGB+D.数据集、NTU RGB+D 120数据集、Kinetics-Skeleton数据集。

步骤2具体包括以下步骤：

步骤2.1、对包括骨骼特征的视频按帧进行拆分，得到T帧图像；

步骤2.2、假设T帧图像中每帧图像有k个关节,以每个关节作为中心，通过裁剪得到k个长度为l的方形局部裁剪片

步骤2.3、将预估骨骼特征数据对应的方形局部裁剪片序列标记为