[发明专利]一种基于骨架数据的行为识别系统及方法

权利要求书

1.一种基于骨架数据的行为识别系统，其特征在于，包括数据采集单元、服务器、数据传输单元和显示预警单元，所述数据采集单元通过数据传输单元与服务器连接，所述服务器通过数据传输单元与显示预警单元连接，所述数据采集单元用于采集实时视频数据；

所述服务器用于处理实时视频数据、输出行为识别数据以及输出预警指令；

所述数据传输单元用于传输实时视频数据、行为识别数据以及预警指令；

所述显示预警单元用于展示行为识别数据、预警指令以及根据预警指令发出警报。

2.根据权利要求1所述的一种基于骨架数据的行为识别系统，其特征在于，所述服务器包括依次连接的姿态估计模块、骨架数据处理模块、行为识别模块和预警控制模块，所述姿态估计模块用于从实时视频数据中提取人体骨架数据；

所述骨架数据处理模块用于将人体骨架数据处理成网络可直接读取的非欧式结构数据；

所述行为识别模块用于从非欧式结构数据中识别出行为类别结果；

所述预警控制模块用于根据行为类别结果输出对应的预警指令。

3.根据权利要求1所述的一种基于骨架数据的行为识别系统，其特征在于，所述数据采集单元为摄像头，所述数据传输单元为无线网络或网络数据线，所述显示预警单元包括显示器和报警器。

4.一种基于骨架数据的行为识别方法，其特征在于，包括以下步骤：

S1、采集实时视频数据；

S2、根据Openpose姿态估计算法，从实时视频数据中提取序列化的人体骨架数据；

S3、将序列化的人体骨架数据处理成序列化的非欧式结构数据；

S4、基于时空图卷积神经网络和长短周期记忆网络，从序列化的非欧式结构数据中识别出对应的行为类别结果。

5.根据权利要求4所述的一种基于骨架数据的行为识别方法，其特征在于，所述步骤S2具体包括以下步骤：

S21、将实时视频数据处理成序列化的视频帧；

S22、对视频帧的图像进行姿态估计，提取出序列化的人体骨架数据，其中，人体骨架数据包括人体骨架关键点信息；

S23、以二维或三维数据的形式，将序列化的人体骨架数据保存为JSON格式文件。

6.根据权利要求5所述的一种基于骨架数据的行为识别方法，其特征在于，所述步骤S4具体包括以下步骤：

S41、基于时空图卷积神经网络，从序列化的非欧式结构数据中分别提取骨架空间信息和骨架时间信息，得到序列化的骨架初始特征值；

S42、将序列化的骨架初始特征值输入长短周期记忆网络，得到骨架最终特征值；

S43、骨架最终特征值进入Softmax分类器，输出行为类别结果。

7.根据权利要求6所述的一种基于骨架数据的行为识别方法，其特征在于，所述时空图卷积神经网络的卷积核包括第一维度和第二维度，所述第一维度用于提取骨架空间信息，所述第二维度用于提取骨架时间信息。

8.根据权利要求6所述的一种基于骨架数据的行为识别方法，其特征在于，所述长短周期记忆网络中包含注意力机制，所述注意力机制用于增强骨架关键点信息。