[发明专利]一种装药操作行为规范监控方法

权利要求书

1.一种装药操作行为规范监控方法，其特征在于包括以下步骤：

1）图像数据获取，通过摄像头获取图像数据，经路由器传输并存储到图像数据单元中；

2）目标检测：采用YOLO模型实时地检测图像中操作人员的操作行为；

3）目标追踪: 基于deepsort的目标跟踪算法,对当前目标的位置进行初步预测和判断，锁定要追踪的目标；

4）动作识别：使用三维卷积神经网络，对目标图像二维方向进行建模，提取时间序列上的特征，从而得到准确的动作识别结果；

5）根据实时检测到的人物动作识别结果，在监控室显示的监控视频中标注出动作类别，并对不规范的动作进行响应。

2.根据权利要求1所述的装药操作行为规范监控方法，其特征在于：步骤2）中，目标检测包括：

201）将现场采集到的装药操作视频切分成每一帧，得到每一帧的图像，帧率设置为60Hz，并对图像进行预处理，平衡图像亮度；

202）将每幅图像分成N×N个网格，如果一个实际物体的中心落在某个网格中，那么这个网格就负责预测这个物体；

203）每个网格还需要预测多个框选区域，每个框选区域包括自身的位置和置信度参数，置信度参数为一个物体做为预测物体的可信度。

3.根据权利要求2所述的装药操作行为规范监控方法，其特征在于：还包括以下步骤：

204）对这些候选框进行过滤操作,将多余的候选框合并，将不必要的候选框舍去，具体为：计算每两个候选框的交并程度，在交并比大于阈值的情况下，取置信度最高的框作为最终的结果；将其他的置信度低于设定阈值的候选框舍去，得到最终预测的包围框，实时检测到图像中的人；

根据权利要求1所述的装药操作行为规范监控方法，其特征在于：步骤3）中，目标追踪包括：

301）通过目标检测网络得到操作人员的检测框，并且提取检测框的深度特征得到框的位置和大小；

302）使用卡尔曼滤波对预测跟踪目标在当前图像帧的位置，执行卡尔曼滤波的公式，通过状态转移矩阵进行预测，对于当前目标的位置有一个初步的预测，方便后续的工作；

303）更新卡尔曼滤波的参数及特征集，对已有目标消失和新目标出现进行判断，对检测到的目标的追踪器进行区分，确定追踪器的状态是否已经被确认；

304）对于已经确认状态的追踪器进行级联匹配，如匹配成功，则认为是同一目标在不同时间序列上的表现；

305）更新卡尔曼滤波器参数，将新的时间序列更新到卡尔曼滤波模型，并且对于匹配未成功的框进行删除，为下一次的跟踪做准备，继续循环执行上述匹配过程。

4.根据权利要求4所述的装药操作行为规范评价方法，其特征在于：还包括步骤306）中，对于未确定的追踪器，首先计算交并比，对于预测结果和追踪器的交并比在大于阈值范围内的情况，将代价矩阵对应的位置设为1e+6，采用匈牙利算法进行指派，从而匹配跟踪目标的位置。

5.根据权利要求1所述的装药操作行为规范监控方法，其特征在于：步骤4）动作识别包括：使用三维卷积神经网络，对目标图像二维方向进行建模，提取时间序列上的特征，从而得到准确的动作识别结果。

6.401）将跟踪模型的结果按照操作人员的序号保存到临时存储区，并且将人物区域的大小重置为U×V；

402）将临时存储区中存储的数据保存到16帧或32帧开始识别，识别完成后将新的一帧入队，将队列中的前一帧出队，实现实时识别；

403）在得到足够的数据后，将数据送入提前训练好的三维卷积神经网络中，提取数据特征；

404）模型的最后一层采用softmax网络层对数据进行分类，将一段动作视频分到提前设定好的类中，将未知视频动作变为已知类，识别人物动作的变化。