[发明专利]一种变电站安全围栏翻越行为识别方法、系统及设备

权利要求书

1.一种变电站安全围栏翻越行为识别方法，其特征在于，包括以下步骤：

获取工人翻越围栏的视频作为正样本，获取工人正常行走的视频作为负样本，基于正样本和负样本构建视频数据集D1；

采用姿态估计算法对视频数据集D1进行人体骨架提取，得到人体骨架点图像序列集合K1；

对人体骨架点图像序列集合K1进行张量投票，得到骨架关联图像序列集合，基于骨架关联图像序列集合得到运动流视频样本集D3；

采用光流算法计算视频数据集D1的光流，得到光流图像序列，基于光流图像序列得到光流视频样本集D2；

构建深度学习网络，将光流视频样本集D2以及运动流视频样本集D3输入到深度学习网络中进行训练，得到训练好的深度学习网络；

获取变电站安全围栏的实时视频，将实时视频输入到训练好的深度学习网络中，通过训练好的深度学习网络对实时视频进行分类，根据分类的结果判断实时视频中是否存在翻越围栏的行为。

2.根据权利要求1所述的一种变电站安全围栏翻越行为识别方法，其特征在于，基于正样本和负样本构建视频数据集D1的具体过程为：

对正样本和负样本进行标注，将正样本标注为翻越，将负样本标注为未翻越；

对经过标注的正样本以及经过标注的负样本进行预处理，得到正样本的每一帧图像以及负样本的每一帧图像；

在正样本的每一帧图像以及负样本的每一帧图像上标注出工人的人体关键点，完成视频数据集D1的构建。

3.根据权利要求2所述的一种变电站安全围栏翻越行为识别方法，其特征在于，对经过标注的正样本以及经过标注的负样本进行预处理，得到正样本的每一帧图像以及负样本的每一帧图像的过程为：

从经过标注的正样本以及经过标注的负样本中提取出每一帧的图像；

对每一帧图像进行滤波处理，将经过处理后的每一帧图像缩放到统一尺寸，从而得到正样本的每一帧图像以及负样本的每一帧图像。

4.根据权利要求2所述的一种变电站安全围栏翻越行为识别方法，其特征在于，在经过预处理的正样本和经过预处理的负样本上标注出工人的人体关键点的具体过程为：

采用25点人体骨架点标注模式在正样本的每一帧图像以及负样本的每一帧图像上标注出工人的人体关键点。

5.根据权利要求1所述的一种变电站安全围栏翻越行为识别方法，其特征在于，采用姿态估计算法对视频数据集D1进行人体骨架提取，得到骨架点图像序列集合K1的具体过程为：

将视频数据集输入到VGG-19卷积网络中提取特征，得到关节点的特征图；

将关节点的特征图输入到两分支多阶段CNN神经网络中，两分支多阶段CNN神经网络的第一分支输出人体关键点热力图，第二分支输出人体关键点亲和场；

基于人体关键点热力图和人体关键点亲和场，采用图论的偶匹配法将同一个工人的关节点进行连接，得到工人的整体骨架；

基于人体关键点亲和场以及工人的整体骨架，采用匈牙利算法求解多人人体解析，得到骨架点图像序列集合K1。

6.根据权利要求1所述的一种变电站安全围栏翻越行为识别方法，其特征在于，对人体骨架点图像序列集合K1进行张量投票，得到骨架关联图像序列集合的具体过程为：

将人体骨架点图像序列集合K1转化为稀疏张量矩阵；

对稀疏张量矩阵分别进行稀疏投票以及稠密投票；

对投票后的稀疏张量矩阵进行特征分解，得到特征值；

将特征值从大到小进行排序，得到特征值序列，对特征值序列中的第一个特征值和第二个特征值求差并进行归一化，得到骨架点关联图，进而得到骨架点关联图序列。

7.根据权利要求1所述的一种变电站安全围栏翻越行为识别方法，其特征在于，深度学习网络包括图卷积网络以及三维卷积网络。