[发明专利]一种基于人体姿态估计的煤矿井下人员不安全行为识别方法

说明书

本发明的基于人体姿态估计的煤矿井下人员不安全行为识别方法，针对当前以人为中心的视频监控模式对于井下人员不安全行为的监控存在人工监视持续时间受限、多场景同时监视困难、人工监视结果处理不及时等问题，在煤矿视频监控系统中引入智能分析技术，通过基于生成对抗训练的困难样本挖掘沙漏网络(Hourglass Networks with Hard Mining)提取煤矿井下人员的姿态信息。然后，根据提取的人体姿态信息在监控视频中运行轨迹来判断煤矿井下人员的行为是否异常，精准地发现发出报警提示，做到防患于未然，保障煤矿安全生产。

技术领域

本发明涉及煤矿安全监控技术，尤其涉及基于人体姿态估计的煤矿井下人员不安全行为识别方法。

背景技术

我国是世界上最大的煤炭生产和消费国，煤炭行业的持续、健康、稳定发展对国民经济的健康运行影响巨大。煤矿井下工作条件艰苦、环境复杂、事故易发。对我国煤矿大量事故致因的分析与研究发现，80％以上的煤矿事故源于井下人员的不安全行为。因此，如何有效地从煤矿监控视频中提取井下人员的行为信息，对保障煤矿安全生产有着重要意义。

煤矿视频监控系统是保证煤矿安全生产和科学调度指挥的有效技术手段，通过其可以实现对井下人员不安全行为的监视。当前以人为中心的视频监控模式对于井下人员不安全行为的监控存在人工监视持续时间受限、多场景同时监视困难、人工监视结果处理不及时等问题。

发明内容

本发明的目的是针对当前以人为中心的视频监控模式对于井下人员不安全行为的监控存在人工监视持续时间受限、多场景同时监视困难、人工监视结果处理不及时等问题，提出一种基于人体姿态估计的煤矿井下人员不安全行为识别方法。本发明在煤矿视频监控系统中引入智能分析技术，通过基于生成对抗训练的困难样本挖掘沙漏网络(Hourglass Networks with Hard Mining)提取煤矿井下人员的姿态信息。然后，根据提取的人体姿态信息在监控视频中运行轨迹来判断煤矿井下人员的行为是否异常。

本发明的技术方案是：

本发明提供一种基于人体姿态估计的煤矿井下人员不安全行为识别方法，该方法包括以下步骤：

步骤1、预设若干种煤矿井下人员的不安全行为，获取前述不安全行为对应的视频信息，通过人工标记的方式标定前述视频信息中的骨架信息，得到训练数据集，并对前述训练数据集进行基于对抗学习的困难样本挖掘沙漏网络训练，获取模型，将视频信息中的骨架信息按时间轴形成的运行轨迹和前述模型存储至数据库；

步骤2、采用监控设备，实时读取煤矿监控视频，将视频分解成图像；

步骤3、对读取的图像中井下人员进行姿态估计，采用基于对抗学习的困难样本挖掘沙漏网络模型提取井下人员的骨架信息；

步骤4、将前述提取的煤矿井下人员的骨架信息按照时间轴形成运动轨迹与步骤1中预设的几种煤矿井下人员的不安全行为的骨架运行轨迹中的坐标进行误差计算，误差小于预设的阈值为不安全行为，发出报警提示，否则，不做处理。

进一步地，所述的不安全行为矿工攀坐平台护栏、井下摘掉安全帽和冒险进入危险场所。

进一步地，所述步骤1中对训练数据集进行基于对抗学习的困难样本挖掘沙漏网络训练，获取模型的方法具体为：

步骤1.1、构建基于对抗学习的困难样本挖掘沙漏网络模型，包括子沙漏网络G和子沙漏网络D，所述的子沙漏网络G作为生成器Generator，用于生成井下人员姿态热图；所述的子沙漏网络D为鉴别器Discriminator，用于在生成的热图数据中鉴别出煤矿井下人员姿态，每一个子沙漏网络由N个沙漏单元堆积而成；

步骤1.2、获取煤矿监控图像样本I、及样本中人员目标标记的骨架点坐标X作为困难样本挖掘沙漏网络的输入；