[发明专利]基于视觉关系检测的煤矿综采工作面不安全行为识别方法

权利要求书

1.一种基于视觉关系检测的煤矿综采工作面不安全行为识别方法，其特征在于，包括以下步骤：

S01：获取煤矿综采工作面的图像数据，对数据进行标注和语义描述，建立煤矿综采工作面不安全行为语义图像数据集；

S02：在建立的数据集上构建“人-机-环”目标识别算法和视觉关系检测模型，形成图像文本描述；

S03：通过语句相似度计算进行图像文本描述语句与煤矿不安全行为数据库中词条进行匹配检索，识别煤矿不安全行为；

所述步骤S02中形成图像文本描述，包括：

S21：构建Faster R-CNN的检测网络并进行训练，对采集的数据集进行特征提取；

S22：训练区域建议网络，生成高质量的区域建议框，所述区域建议网络和检测网络共享全图的卷积特征，使用Fast R-CNN进行检测分类，检测图像上“人-机-环”对象的位置和类别；

S23：构建VTransE网络进行视觉关系检测，在目标识别的基础上，训练图像语义理解网络，选择损失函数，并根据训练误差对网络参数进行调优，得到图像的文本描述；

所述步骤S03中的匹配检索包括：

S31：从煤矿综采工作面不安全行为管理手册、操作规程、事故案例和专家经验4个方面整理常见的不安全行为，形成不安全行为数据库；

S32：根据得到的图像文本描述，采用机械分析法分别对不安全行为数据库中的描述词条和图像文本描述语句进行分词处理，提取影响因素对应的关键词；

S33：采用基于多层次融合的语句相似度计算方法，匹配符合图像文本描述的不安全行为词条，识别出图像中不安全行为。

2.根据权利要求1所述的基于视觉关系检测的煤矿综采工作面不安全行为识别方法，其特征在于，所述步骤S01中煤矿综采工作面图像采集途径包括，通过网络搜索得到煤矿综采工作面的监控图像，通过三维模拟安全培训视频中截取综采工作面的图像，通过煤矿企业现场截取煤矿综采工作面的监控图像，及现场模拟不安全行为的图像。

3.根据权利要求2所述的基于视觉关系检测的煤矿综采工作面不安全行为识别方法，其特征在于，在搜集前期制定图像搜集策略，对采集到的图像进行预处理，进行尘雾图像清晰化和图像增强。

4.根据权利要求1所述的基于视觉关系检测的煤矿综采工作面不安全行为识别方法，其特征在于，所述步骤S01中对数据进行标注和语义描述包括：

S11：对煤矿综采工作面图像进行标注，包括矿工标注，环境图像划分和大型设备部件化标注，将大型设备拆分成多个部件作为对象；

S12：对煤矿综采工作面图像进行语义描述，按照设定的策略，对每一张图像，分别形成区域描述、对象描述、属性描述、关系描述、区域图根据、场景图构建和问答对构建；所述对象和关系根据煤矿综采工作面不安全行为管理手册中涉及的“人-机-环”的对象和相关关系进行确定；

S13：制定数据集存储格式和开发数据开放接口。

5.根据权利要求1所述的基于视觉关系检测的煤矿综采工作面不安全行为识别方法，其特征在于，还包括对识别出的不安全行为进行预警。