[发明专利]一种基于人体骨架的人体行为识别方法及系统

权利要求书

1.一种基于人体骨架的人体行为识别方法，其特征在于，包括：

获取人体骨架的行为动作与对应的骨架点坐标、骨架点帧间坐标差和骨架特征，构建训练集；

根据训练集依次对图卷积网络和基于人体部位的注意力机制网络进行训练，以训练后的图卷积网络和注意力机制网络构建得到行为识别模型；图卷积模块采用Bottleneck结构，所述图卷积网络包括3条输入流，所述骨架点坐标、骨架点帧间坐标差和骨架特征分别输入三条输入流中，将其输出合并后输入注意力机制网络中；基于人体部位的注意力机制网络包括6层注意力模块，每层注意力模块中包含1层图卷积模块和1层基于人体部位的注意力子模块；

根据行为识别模型对待识别人体骨架进行识别，输出人体行为动作。

2.如权利要求1所述的一种基于人体骨架的人体行为识别方法，其特征在于，所述骨架点坐标包括骨架的三维绝对坐标和中心点的相对坐标，所述骨架点帧间坐标差包括相邻帧间坐标差和间隔帧间坐标差，所述骨架特征包括骨架长度和骨架旋转角。

3.如权利要求1所述的一种基于人体骨架的人体行为识别方法，其特征在于，所述Bottleneck结构的空间模块包括图卷积操作，并在图卷积操作的两边分别加入1*1的普通卷积操作，降低输入特征的维数，所述普通卷积操作连接批归一化操作，激活函数采用ReLU函数。

4.如权利要求1所述的一种基于人体骨架的人体行为识别方法，其特征在于，所述基于人体部位的注意力子模块中，人体部位包括左臂，右臂，左腿，右腿和躯干，将人体部位的骨架点特征在时间维度上求均值，通过全连接层进行降维和升维后，使维度等于人体部位的骨架点特征的维度，利用Softmax函数得到每个人体部位对应的注意力分数，以此得到每类人体行为的得分。

5.如权利要求1所述的一种基于人体骨架的人体行为识别方法，其特征在于，采用交叉熵损失函数得到当前的训练误差，采用随机梯度下降法更新权值，多次迭代训练后，构建行为识别模型。

6.一种基于人体骨架的人体行为识别系统，其特征在于，包括：

数据获取模块，用于获取人体骨架的行为动作与对应的骨架点坐标、骨架点帧间坐标差和骨架特征，构建训练集；

训练模块，用于根据训练集依次对图卷积网络和基于人体部位的注意力机制网络进行训练，以训练后的图卷积网络和注意力机制网络构建得到行为识别模型；图卷积模块采用Bottleneck结构，所述图卷积网络包括3条输入流，所述骨架点坐标、骨架点帧间坐标差和骨架特征分别输入三条输入流中，将其输出合并后输入注意力机制网络中；基于人体部位的注意力机制网络包括6层注意力模块，每层注意力模块中包含1层图卷积模块和1层基于人体部位的注意力子模块；

识别模块，用于根据行为识别模型对待识别人体骨架进行识别，输出人体行为动作。

7.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-5任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-5任一项所述的方法。