[发明专利]基于骨架序列的人类动作识别的语义自适应图网络方法

说明书

本发明提供的基于骨架序列的人类动作识别的语义自适应图网络方法，涉及计算机视觉技术领域，该方法包括：将数据预处理后的目标骨架序列的数据分为动力学特征数据、骨骼数据和语义数据；将目标骨架序列的动力学特征数据、骨骼数据和语义数据进行数据融合；对数据融合操作得到的结果进行自适应GCN操作；对自适应GCN操作得到的结果进行时间维度CNN操作。该方法通过引入语义信息、数据融合自适应GCN有效平衡了行为识别模型的准确率和参数量，且能够适配轻量级应用，更有利于应用于实际场景。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于骨架序列的人类动作识别的语义自适应图网络方法。

背景技术

人类行为识别是计算机视觉领域的基本问题之一，在视频监控、人机交互、智能机器人、虚拟现实等领域被广泛应用。人类行为识别可根据动作特征模态分为：图像人体轮廓特征、深度图、视频人体运动光流以及人体骨架。近年来，人体骨架数据的获取随着低成本设备(Kinect V2)的发展变得更加容易，而人体骨架数据相较于RGB数据和深度数据，不容易受到外观影响，表征的是人体的高级特征。此外，人体骨架数据能够避免背景遮挡、光照变化以及视角变化产生的噪声影响，更适用于研究。

在已有的研究中，通过手动设计表征视频动作特征的传统分类模型不能适应高识别精度和复杂场景应用的要求，基于深度学习的方法是当前的主流算法。人体骨架数据一般表示为伪图像、向量序列和拓扑图，常见处理骨架数据的深度学习方法有卷积神经网络(Convolutional Neural Network,CNN)、循环神经网络(Recurrent Neural Network,RNN)、图卷积网络(Graph Convolutional Network,GCN)。CNN通过从数据中学习到的局部卷积滤波器和内核来识别，类似于图像分类。为了方便使用CNN，会将骨架数据进行转置，行表示不同的关节点，列表示不同的时间帧，(x,y,z)的3D坐标值被视为三个通道，构造出的图像成为伪图像，然后进行卷积操作。RNN通过将上一时刻的输出作为当前时刻的输入来形成其结构内部的递归连接，这被证明是一种处理序列数据的有效方法。人体骨架关节本身是一种拓扑图，GCN对拓扑图有着天然的适配性。

然而，现有的行为识别模型参数量和准确率综合效果并不理想，参数量与准确率的平衡性差，不利于产品的实际推广应用。

发明内容

针对上述技术问题，本发明提供基于骨架序列的人类动作识别的语义自适应图网络方法，有效平衡了行为识别模型的准确率和参数量，且能够适配轻量级应用，更有利于应用于实际场景。

为实现上述目的，本发明采取的技术方案为：

本发明提供的基于骨架序列的人类动作识别的语义自适应图网络方法，该方法包括以下步骤：

S3将目标骨架序列的数据分为动力学特征数据、骨骼数据和语义数据；

S4将目标骨架序列的动力学特征数据、骨骼数据和语义数据进行数据融合；

S6对数据融合操作得到的结果进行自适应GCN操作；

S7对自适应GCN操作得到的结果进行时间维度CNN操作。

具体地，所述步骤S3中的动力学特征数据包括：关节点数据、运动数据和速度差数据；骨骼数据包括：骨长数据和基于速度差的骨长数据；语义数据包括关节类型和帧序号。

具体地，对于目标骨架序列其中T为序列中的总帧数，V为总关节点数，表示在t时刻的关节点v；

选取关节点坐标位置作为关节点数据；对关节点数据进行编码后得到

计算相邻两帧相同关节的差值得到运动数据其中代表关节v在t帧的坐标；代表关节v在t+1帧的坐标；对运动数据进行编码后得到

计算前T-1帧与后T-1帧的速度差值数据得到速度差数据，即对速度差数据进行编码得到