[发明专利]一种工序循环的自动监测方法、装置和系统

权利要求书

1.一种工序循环的自动监测方法，其特征在于，所述方法包括：

获取隧道洞口的视频流，并将所述视频流进行预处理，得到多帧帧图片；

判断多帧所述帧图片中是否发生动态事件，若发生，则将发生动态事件的帧图片进行标记；

基于opencv的人脸检测模型和基于深度学习的deepsort模型对标记后的帧图片进行作业人员跟踪预测；

基于AM-softmax算法训练的人脸识别模型对跟踪到的作业人员进行人脸信息识别；

当识别到在一定时间范围内同一工种的若干作业人员进入或离开隧道，记录该工种的当次工序开始或结束。

2.根据权利要求1所述的工序循环的自动监测方法，其特征在于，所述方法还包括：

获取同一工种的若干作业人员进入隧道和离开隧道的时间间隔；

将所述时间间隔记录为一次工序循环的时间。

3.根据权利要求1所述的工序循环的自动监测方法，其特征在于，所述判断多帧所述帧图片中是否发生动态事件，包括：

采用两帧差帧法、三帧差帧法、基于高斯混合学习的视频背景减法或python背景模型减除法中的一种算法判断多帧所述帧图片中是否发生动态事件。

4.根据权利要求3所述的工序循环的自动监测方法，其特征在于，所述采用两帧差帧法判断多帧所述帧图片中是否发生动态事件，包括：

对相邻帧的相同位置的像素值做差获得差分图像；

对所述差分图像进行二值化，当所述差分图像的像素值变化大于预设阈值时，则所述相邻帧中发生了动态事件。

5.根据权利要求1所述的工序循环的自动监测方法，其特征在于，基于opencv的人脸检测模型和基于深度学习的deepsort模型对标记后的帧图片进行作业人员跟踪预测，包括：

将标记后的帧图片输入所述基于opencv的人脸检测模型进行快速人脸检测；

将检测到人脸的帧图片输入所述基于深度学习的deepsort模型进行作业人员跟踪，预测作业人员的行动轨迹，更新跟踪结果并输出。

6.根据权利要求5所述的工序循环的自动监测方法，其特征在于，将检测到人脸的帧图片输入所述基于深度学习的deepsort模型进行作业人员跟踪，预测作业人员的行动轨迹，包括：

分别对所述检测到人脸的帧图片中目标检测框的作业人员ID编号初始化；

采用卡尔曼滤波算法对所述目标检测框的位置进行预测得到目标下一时刻的状态参数；

基于卷积神经网络在所述目标检测框中进行物体外观特征提取，并基于匈牙利级联匹配算法将所述目标检测框、跟踪目标对象下一时刻状态参数以及提取到的物体外观特征进行匹配关联。

7.一种工序循环的自动监测装置，其特征在于，所述装置包括：

图像处理模块，用于获取隧道洞口的视频流，并将所述视频流进行预处理，得到多帧帧图片；

动态事件判断模块，用于判断多帧所述帧图片中是否发生动态事件，若发生，则将发生动态事件的帧图片进行标记；

目标跟踪预测模块，用于基于opencv的人脸检测模型和基于深度学习的deepsort模型对标记后的帧图片进行作业人员跟踪；

人脸信息识别模块，用于基于AM-softmax算法训练的人脸识别模型对跟踪到的作业人员进行人脸信息识别；

工序起止记录模块，用于当识别到在一定时间范围内同一工种的若干作业人员进入或离开隧道，记录该工种的当次工序开始或结束。

8.根据权利要求7所述的工序循环的自动监测装置，其特征在于，所述装置还包括：

时间间隔获取单元，用于获取同一工种的若干作业人员进入隧道和离开隧道所代表的工序开始或结束的时间间隔；

工序循环记录单元，用于将所述时间间隔记录为一次工序循环的时间。