[发明专利]双路U-Net深度神经网络矿山井下危险行为智能分级辨识方法

权利要求书

1.一种双路U-Net深度神经网络矿山井下危险行为智能分级辨识方法，其特征在于，包括以下步骤：

步骤1：数据获取；

从井下按照一定时间间隔截取图像；

步骤2：图像预处理，包括色彩空间转换、去除噪声和图像增强；

步骤3：制作危险行为样本；

对监控视频截图的边界进行矢量化，圈出影像轮廓并赋类名编号，并对影像中的像素进行检查，以确定其是否表示一类危险行为，将所有能够表示一类危险行为的像素组成的影像作为样本供U-Net网络识别；

步骤4：单路网络结构设计及参数训练；

单路网络结构包括输入层、10个卷积层、6个Batchnorm层、10个ELU层、2个池化层、2个上采样层、2个Dropout层、1个Softmax层和输出层，并设置相关参数；将预分类的危险动作样本作为输入数据加入网络，对网络参数进行训练，保存结果及训练完成后的网络结构的各层的权重；

步骤5：构建双路U-Net结构；

双路U-Net结构为双路网络构成一个交替接受输入的结构，具体构建过程包括步骤6-步骤8；

步骤6：图像输入；

采用双路网络构成一个交替接受输入的队列结构，图像输入采用先进先出策略；

步骤7：双路U-Net特征提取；

将步骤4中训练好的单路网络进行复制，形成双路网络结构，其各层权重由步骤4的单路网络结构拷贝而来，对输出层进行训练；

步骤8：预警；

双路网络分别对井下危险行为进行识别，当两个支路同时识别出危险行为后，通过四叉树检索方法，对危险行为发生的类别、数量和空间位置进行快速识别，并进行分级预警和保存截图，预警直到双路同时没有识别出危险行为后解除。

2.根据权利要求1所述的双路U-Net深度神经网络矿山井下危险行为智能分级辨识方法，其特征在于：步骤6中，采用双路网络构成一个交替接受输入的队列结构，图像输入采用先进先出策略；具体实现包括以下步骤：

步骤6.1：第一次输入前，设置双路标示位均为0；

步骤6.2：检查图像样本集是否为空，如果是，结束；否则，图像输入，检查双路结构的输入标示 位，选择值为0的一路，更新输入；

步骤6.3：更新双路输入标示位，将最后输入对应的支路输入标示位设为1，将另一个支路的输入标示位设置为0；

步骤6.4：流程转到步骤6.2。

3.根据权利要求1所述的双路U-Net深度神经网络矿山井下危险行为智能分级辨识方法，其特征在于：所述四叉树检索方法，具体实现包括以下子步骤：

步骤8.1：将图像区域划分为左上、右上、左下和右下四个象限；

步骤8.2：从左上开始，检索象限内危险行为的像素，编号为1-5，对应5种危险行为，背景和非危险行为编号为0；

步骤8.3：如果某个像素存在危险行为像素或类别大于等于2，转入步骤8.1；

步骤8.4：如果象限内存在一种危险行为，类别变量存入危险行为类别编号；

步骤8.5：统计四个象限危险行为类别、强度变量；

步骤8.6：当存在危险行为的象限不为0且小于2时，二级预警；当存在危险行为的象限大于2时，一级预警；当存在不同类别的危险行为时，一级预警。