[发明专利]一种基于人体姿态估计的煤矿井下人员不安全行为识别方法

权利要求书

1.一种基于人体姿态估计的煤矿井下人员不安全行为识别方法，其特征在于，该方法包括以下步骤：

步骤1、预设若干种煤矿井下人员的不安全行为，获取前述不安全行为对应的视频信息，通过人工标记的方式标定前述视频信息中的骨架信息，得到训练数据集，并对前述训练数据集进行基于对抗学习的困难样本挖掘沙漏网络训练，获取模型，将视频信息中的骨架信息按时间轴形成的运行轨迹和前述模型存储至数据库；

步骤2、采用监控设备，实时读取煤矿监控视频，将视频分解成图像；

步骤3、对读取的图像中井下人员进行姿态估计，采用基于对抗学习的困难样本挖掘沙漏网络模型提取井下人员的骨架信息；

步骤4、将前述煤矿井下人员的骨架信息按照时间轴形成运动轨迹与步骤1中预设的几种煤矿井下人员的不安全行为的骨架运行轨迹中的坐标进行误差计算，误差小于预设的阈值为不安全行为，发出报警提示，否则，不做处理；

所述步骤1中对训练数据集进行基于对抗学习的困难样本挖掘沙漏网络训练，获取模型的方法具体为：

步骤1.1、构建基于对抗学习的困难样本挖掘沙漏网络模型，包括子沙漏网络G和子沙漏网络D，所述的子沙漏网络G作为生成器Generator，用于生成井下人员姿态热图；所述的子沙漏网络D为鉴别器Discriminator，用于在生成的热图数据中鉴别出煤矿井下人员姿态，每一个子沙漏网络由N个沙漏单元堆积而成；

步骤1.2、获取煤矿监控图像样本I、及样本中人员目标标记的骨架点坐标X作为困难样本挖掘沙漏网络的输入；

步骤1.3、将图像样本I输入子沙漏网络G中生成热图并通过标记的骨架点信息X生成关于各个骨架点的真值热图H_ij；其中i表示第i个沙漏单元，j表示人体中关节点的序号；

步骤1.4、计算生成器的生成热图与真值热图H_ij之间的误差L_MSE：

其中j∈[1,M]，M表示每个人体中包含关节点总数，Rank函数对所有的关节点误差进行排序，表示对误差最高的K个关节点进行误差累加；

步骤1.5、将生成热图输入鉴别器D中，得到重构热图

步骤1.6、计算沙漏网络中最后一个单元的生成热图与该单元重构热图的误差L_adv；

步骤1.7、累加误差L_MSE和L_adv得到生成器的误差L_G，并通过梯度下降法对生成器进行优化；

步骤1.8、将真值热图H_ij输入到基于鉴别器D中，得到重构热图D(H_ij,I)；

步骤1.9、计算沙漏网络中最后一个单元的真值热图H_j与该单元重构热图D(H_j,I)的误差L_R；

步骤1.10、累加误差L_adv和L_R得到鉴别器的误差L_D，并通过梯度下降法对鉴别器进行优化；优化完成后，获取基于对抗学习的困难样本挖掘沙漏网络模型。

2.根据权利要求1所述的基于人体姿态估计的煤矿井下人员不安全行为识别方法，其特征在于，所述的不安全行为矿工攀坐平台护栏、井下摘掉安全帽和冒险进入危险场所。