[发明专利]基于骨架视频的行为识别方法

摘要

本发明公开了一种基于骨架视频的行为识别方法，方法流程包括：通过对数据集中的每一段视频抽帧得到视频训练样本，并提取各帧的骨架关节点信息；根据骨架关节点物理连接关系初始化骨架关节点连接关系矩阵，以初步训练空间域图卷积神经网络；在空间域图卷积神经网络的参数固定之后，通过空间域图卷积神经网络训练骨架关节点关系推理网络，得到新的骨架关节点连接关系矩阵；通过新的骨架关节点连接关系矩阵更新空间域图卷积神经网络的参数；应用时，对待识视频抽帧和提取骨架关节点信息后送入骨架关节点关系推理网络得到骨架关节点连接关系矩阵，将抽帧后的视频和骨架关节点连接关系矩阵送入更新后的空间域图卷积神经网络，以得到行人行为类别。

主权项

1.一种基于骨架视频的行为识别方法，包含空间域图卷积神经网络，其特征在于还包括一个骨架关节点关系推理网络，通过训练确定骨架关节点关系推理网络参数，得到骨架关节点连接关系矩阵，该骨架关节点连接关系矩阵输入所述的空间域图卷积神经网络，实现基于骨架视频的行为识别，具体包括如下训练步骤：A1.对训练数据集中的每一段视频抽帧得到视频训练样本，并提取各帧的骨架关节点信息，得到骨架视频训练样本；A2.将骨架关节点连接关系矩阵初始化为骨架关节点物理连接关系矩阵，用视频训练样本对所述的空间域图卷积神经网络进行初步训练，得到空间域图卷积神经网络的参数，训练方式为以行为类别为标签的监督式训练；A3.基于得到的空间域图卷积神经网络的参数确定的空间域图卷积神经网络，用所述骨架视频训练样本训练所述的骨架关节点关系推理网络，输出骨架关节点连接关系矩阵；A4.用所得的骨架关节点连接关系矩阵训练所述的空间域图卷积神经网络，更新该空间域图卷积神经网络的参数；A5.重复步骤A3和A4若干次；所述行为识别方法还包括如下应用步骤：B1.获取待识视频，对待识视频抽帧得到待识视频样本，并提取各帧的骨架关节点信息；B2.将待识视频样本输入训练好的骨架关节点关系推理网络，得到对应待识视频样本的骨架关节点连接关系矩阵；B3.将该骨架关节点连接关系矩阵和待识视频样本输入训练好的空间域图卷积神经网络，得到行人行为的类别。