[发明专利]基于视觉关系检测的煤矿综采工作面不安全行为识别方法

说明书

本发明公开了一种基于视觉关系检测的煤矿综采工作面不安全行为识别方法，包括：获取煤矿综采工作面的图像数据，对数据进行标注和语义描述，建立煤矿综采工作面不安全行为语义图像数据集；在建立的数据集上构建“人‑机‑环”目标识别算法和视觉关系检测模型，形成图像文本描述；通过语句相似度计算进行图像文本描述语句与煤矿不安全行为数据库中词条进行匹配检索，识别煤矿不安全行为。基于图像理解的方法，不仅能够对识别煤矿工作面中的“人、机、环”对象，还能识别每个对象间的语义关系，可以对煤矿工作面中的不安全行为进行识别，准确率高。

技术领域

本发明涉及信息处理的计算机视觉技术领域，具体地涉及一种基于视觉关系检测的煤矿综采工作面不安全行为识别方法。

背景技术

随着机器学习方法的不断发展和计算机硬件性能的提升，利用机器学习技术对煤矿监控图像进行智能分析处理来达到安全预警的目的已经成为煤矿安全决策的重要依据与手段。目前，相关技术包括煤岩识别、矿工人脸识别、火灾识别等，还有针对煤矿井下安全生产过程中的智能化监测技术，主要有：牛犇针对井下运输机车在运行过程中发生的相撞及伤人等安全事故问题，提出了基于单目视觉测距原理的矿井机车防撞预警系统和装置，可在一定程度上有效预防机车运输事故的发生。蔡利梅针对煤矿井下在生产中的危险区域，通过对视频图像中运动目标行为的研究分析，提出运动目标检测及跟踪定位的方法。万航将智能视频监控技术应用于煤矿井下异常情况的识别，通过图像处理技术及时发现视频中的异常达到灾害预警的目的。贾伟利用智能视频监控技术进行煤矿井下多目标跟踪研究，对矿工进入危险区域进行报警。姜代红对煤矿井下特殊环境，围绕基于矿井监控视频的图像去噪、图像增强、图像拼接、复杂场景情况下的运动目标跟踪识别及行为分析进行研究，针对性的提出解决问题的方法。雷耀花在井下矿工的检测方面使用帧间差分法来完成视频中运动区域的提取及图像背景的更新，之后使用轮廓特征参数以及梯度方向直方图+支持向量机的方法完成井下矿工的检测。现有技术方案提出的都是基于图像识别技术对煤矿工作面中涉及的对象进行识别，不能真正识别出不安全行为。

但是，目前，针对煤矿安全行为识别的却很少。综采工作面是由人、机和环境组成的一种复合系统，煤矿工作面不安全行为的发生是“人-机-环”相互交互造成的，利用传统图像识别技术仅通过监控图像检测出其中的“人-机-环”对象，并不能完整传递其内容，还必须检测出对象间的视觉关系，才能真正发现图像中的语义信息，因此并不能真正识别出不安全行为。本发明因此而来。

发明内容

为了解决上述技术问题，本发明提出了一种基于视觉关系检测的煤矿综采工作面不安全行为识别方法，基于图像理解的方法，不仅能够对识别煤矿工作面中的“人、机、环”对象，还能识别每个对象间的语义关系，可以对煤矿工作面中的不安全行为进行识别，准确率高。

本发明所采用的技术方案是：

一种基于视觉关系检测的煤矿综采工作面不安全行为识别方法，包括以下步骤：

S01：获取煤矿综采工作面的图像数据，对数据进行标注和语义描述，建立煤矿综采工作面不安全行为语义图像数据集；

S02：在建立的数据集上构建“人-机-环”目标识别算法和视觉关系检测模型，形成图像文本描述；

S03：通过语句相似度计算进行图像文本描述语句与煤矿不安全行为数据库中词条进行匹配检索，识别煤矿不安全行为。

优选的技术方案中，所述步骤S01中煤矿综采工作面图像采集途径包括，通过网络搜索得到煤矿综采工作面的监控图像，通过三维模拟安全培训视频中截取综采工作面的图像，通过煤矿企业现场截取煤矿综采工作面的监控图像，及现场模拟不安全行为的图像。

优选的技术方案中，在搜集前期制定图像搜集策略，对采集到的图像进行预处理，进行尘雾图像清晰化和图像增强。

优选的技术方案中，所述步骤S01中对数据进行标注和语义描述包括：