[发明专利]一种基于深度学习的厂区人员异常行为检测方法

权利要求书

1.一种基于深度学习的厂区人员异常行为检测方法，其特征在于，包括以下步骤：

步骤一、基于YOLOv4网络训练厂区人员模型；

步骤二、设定抓图帧率r和检测间隔interval；

步骤三、通过摄像头获取生产区域的实时视频流，按照步骤二设定的抓图帧率r和检测间隔interval抓取图像，并对图像进行预处理；

步骤四、加载训练好的厂区人员模型，对步骤三预处理后的图像进行厂区人员检测，得到一个或多个厂区人员区域的目标框；

步骤五、利用Sort多目标跟踪算法对目标框进行目标追踪，得到目标区域图像；

步骤六、裁剪目标区域图像，对裁剪图像进行灰度变换，转换为灰度图像；

步骤七、利用Horn-Schunck光流法计算两次异常检测之间同一个框内灰度图像的变化幅度；

步骤八、判断变化幅度是否小于阈值，如果小于阈值，则判定该人员行为异常，发出报警信息。

2.如权利要求1所述的基于深度学习的厂区人员异常行为检测方法，所述步骤一基于YOLOv4网络训练厂区人员模型，其特征在于，包括以下步骤：

1)建立厂区人员专用数据集，按照9:1的比例划分训练集和测试集；

2)建立YOLOv4网络结构，以CSPdarknet53作为骨干网络，空间金字塔池化模块SPP和路径聚合网络模块PANet作为颈部，YOLOv3作为头部预测输出；

3)首先使用ImageNet大型数据集对2)步骤中得到的YOLOv4网络结构进行训练，得到预训练模型，然后再对YOLOv4网络结构进行特定训练参数设定；

4)使用训练集对预训练模型进行迭代训练，直到损失函数收敛，得到厂区人员检测模型；

5)使用上述测试集对厂区人员检测模型进行测试，并且判断是否符合要求，若不符合，继续进行4)步骤，继续进行迭代训练直到测试结果符合要求；

6)输出符合要求的厂区人员检测模型。

3.如权利要求1所述的基于深度学习的厂区人员异常行为检测方法，所述步骤三中的对图像进行预处理，其特征在于，包括以下步骤：

1)将图像由BGR转换为RGB格式；

2)将图像缩放为608*608的图像，并居中放置；

3)将图像由HWC转换为CHW格式。

4.如权利要求1所述的基于深度学习的厂区人员异常行为检测方法，其特征在于，所述步骤五中利用Sort多目标跟踪算法对目标框进行目标追踪，包括以下步骤：

1)第一帧进来时，以检测到的目标初始化，并创建新的卡尔曼滤波跟踪器，标注ID；

2)后面帧进来时，先到卡尔曼滤波器中得到由前面帧BBox产生的状态预测和协方差预测，计算跟踪器列表中所有目标的状态预测与当前帧中检测到的BBox的IOU，再通过匈牙利算法分别得到所有目标IOU最大的唯一匹配，最后再去掉匹配值小于iou_threshold的匹配对；

假定目标框面积为A，预测框面积为B，则IOU计算方法如下：

3)针对匹配成功的目标，用当前帧中匹配到的目标检测BBox去更新卡尔曼滤波器的状态预测BBox，即用当前帧检测的BBox替换卡尔曼预测的Bbox，对于当前帧中没有匹配到的目标，重新初始化跟踪器。

5.如权利要求1所述的基于深度学习的厂区人员异常行为检测方法，其特征在于：所述步骤六中的灰度变换具体步骤如下：

Gray＝0.29900*R+0.58700*G+0.11400*B，其中R是指该像素点的R分量，G是指该像素点的G分量，B是指该像素点的B分量，Gray是转换后的该像素点的灰度值。

6.如权利要求1所述的基于深度学习的厂区人员异常行为检测方法，其特征在于：所述步骤七中两次异常检测的时间具体为：

假设当前时间为t，第一次检测在t时刻，第二次检测在t+interval/r时刻，对这两个时刻的图像进行异常检测。

7.如权利要求1所述的基于深度学习的厂区人员异常行为检测方法，其特征在于：所述步骤七中利用Horn-Schunck光流法计算两次异常检测之间同一个框内灰度图像的变化幅度，具体包括以下过程：

图像中前景运动目标即人员的移动可以产生光流，根据运动目标的移动产生光流，光流方程为：

(I_x,I_y)(u,v)+I_t＝0

其中，分别代表运动目标区域图像灰度函数关于x轴，y轴，t轴的偏导数，利用松弛方程计算光流场U＝(u,v)^T：

其中，u、v分别表示光流场沿x、y两个方向的分量；和是均值，k是迭代次数，α为权重系数，根据导数求导的精度确定；

光流场看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场，光流场包含的信息即是各像素点的瞬时运动速度矢量信息；

计算每个像素点的光流场幅度M_of：

计算图像的光流场幅度总和S：其中W为图像宽度，H为图像高度；

计算目标变化幅度F：其中W为图像宽度，H为图像高度。