[发明专利]一种基于时空图卷积神经网络的带电作业现场违章行为检测方法

权利要求书

1.一种基于时空图卷积神经网络的带电作业现场违章行为检测方法，其特征在于：该方法包含以下步骤：

步骤1：在110kV带电作业现场布置监控摄像头，拍摄现场实时作业信息，将信息传输到数据管理中心进行存储；

步骤2：根据带电作业现场的实际情况，总结带电作业的正常行为，以及常见的违章行为；

步骤2.1：采集得到带电作业现场监控视频后，对视频场景进行总结，选取其中包含了完整工作过程的数据；

步骤2.2：总结带电作业的具体过程，进入带电作业现场首先做好安全防护，是否需要挂安全绳，随后依次截取行走、更换器件、分合闸、爬梯子，各个关键动作对应的片段；

步骤2.3：总结带电作业过程中常见的违章行为，包含有取下安全帽、超出安全范围、违章翻越围栏，在作业视频中选取对应的片段，截取作为违章行为视频数据集；

步骤2.4：带电作业关键动作和违章行为所对应的视频片段共同组成训练数据集；

步骤3：将提取好的视频片段利用openpose 来实现骨骼标定，骨骼标定数据作为输入，采用ST-GCN网络进行挖掘，进而识别作业人员的实时动作信息，以此判定作业人员是否存在违章行为；

步骤3.1：首先搭建openpose模型来识别人员骨架信息，首先是输入一张原始图片，经过VGG网络进行简单的特征提取，得到一个特征图，然后在经过两个分支分别预测，第一个分支为关键点的分支，此外在这个分支的基础之上增加骨骼点走向的分支，通过将关键点相连，得到现场作业人员骨架信息；

步骤3.2： openpose模型采用MSCOCO数据集进行训练，该数据集采用18个特征点来表示人员姿态，通过训练后，该模型从图片或视频中提取人员骨架关键点；

步骤3.3：采用在MSCOCO数据集上训练好的openpose模型来提取带电作业人员的姿态关键点，通过识别，每帧图片都对应得到其中作业人员的姿态关键点信息，一般为18个关键点，遮挡情况下部分关键点无法识别，设置为空；

步骤3.4： openpose识别的作业人员姿态关键点信息作为姿态标记数据，视频提取时的动作作为标签，使用ST-GCN网络挖掘视频数据中的空间关系和时间关系，建立带电作业动作识别模型；

步骤4、使用训练好的模型对带电作业现场的监控视频自动进行作业行为分析和违章行为检测，判断作业人员的作业过程是否规范，作业人员存在违章行为时报警；

步骤4.1：在带电作业现场布置好摄像头，保证可以拍摄到作业全部场景，作业人员无严重遮挡；

步骤4.2：调用openpose模型对作业人员安全防护进行识别，检测安全帽、绝缘服、绝缘手套等防护措施是否到位，确认无误后允许作业人员进入作业现场，作业开始；

步骤4.3：调用openpose模型对作业人员进行实时的跟踪，获取作业人员行为姿态信息，采用18个骨骼关键点来描述作业人员的姿态；

步骤4.4：使用前3秒内的每个视频帧检测得到的人员姿态信息，建立作业人员关键点时空图，采用ST-GCN网络对作业人员骨骼关键点数据进行预测，判断作业人员当前执行的动作；

步骤4.5：将ST-GCN网络识别得到的作业动作与作业任务中的动作进行匹配，校核作业人员的操作顺序以及操作动作是否符合安全生产规程，同时，若时空图卷积神经网络检测到作业人员存在违章行为，则立即触发报警。