[发明专利]基于图卷积网络的人体骨架行为识别方法、系统、装置

权利要求书

1.一种基于图卷积网络的人体骨架行为识别方法，其特征在于，该识别方法包括：

步骤S10，获取骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列；

步骤S20，对所述待识别骨架序列中每一帧图，根据关节点坐标构建对应的人体关节自然连接图，关节点为图的节点，关节点之间的自然连接为图的自然连接边；所述人体关节自然连接图为其中，x是代表人体关节自然连接图的N个节点的c维坐标值的维度为N×c的矩阵，为待识别骨架序列图像帧之间人体关节自然连接图的邻接矩阵；

步骤S30，基于所述人体关节自然连接图的自然连接边，计算所述待识别骨架序列中每一帧图中预设关节点之间的距离，以所述待识别骨架序列第一帧图中预设关节点之间的距离为初始值，依次计算相邻两帧间对应预设关节点之间距离的相对变化值，将所述相对变化值低于预设阈值的预设关节点进行连接，作为待识别骨架序列图像帧之间非自然连接边的邻接矩阵W₁^T,W₁^T∈R^N×N：

其中，W₁^T的维度为N×N，T为待识别骨架序列中图像帧数；

将所述人体关节自然连接图的邻接矩阵与所述非自然连接边的邻接矩阵进行求和，得到各人体关节连接图的邻接矩阵W以及相应的人体关节连接图G(x,W^T)；

步骤S40，分别为所述待识别骨架序列每一帧图对应的人体关节连接图的各条边分配预设的权重值，获得对应的带有不同权重值的人体关节连接图；

步骤S50，对所述待识别骨架序列每一帧图对应的带有不同权重值的人体关节连接图进行图卷积操作，获取待识别骨架序列的空间信息；

步骤S60，基于所述待识别骨架序列的空间信息，在时间维度上进行卷积操作，获得待识别骨架序列的行为类别。

2.根据权利要求1所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S10中“获取骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列”，其方法为：

步骤S11，对所述骨架视频进行预设间隔的均匀采样，获得预设帧数的骨架序列；

步骤S12，对所述预设帧数的骨架序列中每一帧关节点坐标值进行归一化处理，获得待识别骨架序列。

3.根据权利要求1所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，所述人体关节自然连接图的邻接矩阵其公式表示为：

其中，的维度为N×N，T为待识别骨架序列中图像帧数。

4.根据权利要求1所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S40中“分别为所述待识别骨架序列每一帧图对应的人体关节连接图的各条边分配预设的权重值，获得对应的带有不同权重值的人体关节连接图”，其方法为：

步骤S41，构建权重矩阵，并对矩阵中所有元素赋值；

步骤S42，将所述赋值后的权重矩阵与人体关节连接图的邻接矩阵对应元素相乘，获得对应的带有不同权重值的人体关节连接图。

5.根据权利要求1所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S50中“对所述待识别骨架序列每一帧图对应的带有不同权重值的人体关节连接图进行图卷积操作，获取待识别骨架序列的空间信息”，其方法为：

其中，*代表图卷积操作；代表图卷积核；x是维度为N×c的矩阵，代表人体关节自然连接图的N个节点的c维坐标值；W为人体关节连接图的邻接矩阵。