[发明专利]基于计算机视觉的电梯轿厢内异常行为的检测方法

权利要求书

1.一种基于计算机视觉的电梯轿厢内异常行为的检测方法，其特征在于步骤如下：

步骤1：外部轮廓检测，通过结合帧间差分法的ViBe算法获取运动目标的外部轮廓，并在外部轮廓的基础上获得进入轿厢的乘客身体的高宽比信息；

步骤2:人数头像检测，通过YOLOv3神经网络对电梯轿厢内的人体头部进行检测，并且获得人头目标的位置信息；根据YOLOv3神经网络检测到的人头数量，将电梯内的异常行为检测分为单人，两人及以上两种情景；

步骤3:基于人体轮廓和头部的摔倒检测，在单人情景下，利用乘客人体轮廓的高宽比的变化和乘客人头的垂直移动距离，实现对摔倒行为的检测；

步骤4:多人动能检测，在两人及以上情景中，在结合帧间差分法的ViBe算法获得的目标轮廓的基础上，利用金字塔光流算法，计算乘客的平均动能，实现对暴力侵害行为的检测；

所述的步骤2：人数头像检测按照如下步骤进行：

步骤2.1：考虑到在电梯视频监控中，乘客很少变换位置和姿态，因此获取的训练样本重复率很高；所以，将获取的电梯监控视频做减帧处理，从而降低一个视频序列中，重复的样本数；将视频按帧保存为图像序列，将图像序列中包含清晰人头目标的图像作为原始的人头图像序列；

步骤2.2：使用labelimg工具对人头图像序列进行标记处理，考虑到轿厢内乘客通常都是面对轿厢门站立，因此在标记时，应选择正对后脑、斜对后脑或者侧对头部的样本进行标记，尽可能的保留头部背面的样本特征，而不是包含脸部的头部前面；通过标记工具，获取标记框的信息，以txt文档的形式保存，并且txt文档的命名要和图像一一对应；最后，将标注好的图像分为训练数据集和测试数据集，完成对人头图像序列的标记工作；

步骤2.3：在训练网络中载入训练数据集，进行特征训练；根据人头图像序列的数量，选择适当的训练步数和学习率，每隔一定的步数保存模型，以备在训练过拟合后使用；在损失率不再下降的时候停止训练，避免训练次数过多造成过拟合；训练结束后，对保存的YOLOv3模型进行测试，选择检测效果最好的YOLOv3神经网络模型使用；

步骤2.4：部署训练好的YOLOv3神经网络模型，将电梯轿厢内的监控视频输入到模型中进行检测；YOLOv3网络模型将视频按一帧一帧进行检测，当检测到图像中有人头时，标记人头，并且返回人头标记框位置；最后通过数标记框的方法，得到当前图像中的人头数；将视频从第一帧处理到最后一帧，就可以得到某一时间在电梯轿厢内的乘客数量；

YOLOv3网络实现头部人数检测具体为：

通过训练YOLOv3神经网络，实现对电梯轿厢内人头部的检测，以此来获取电梯轿厢内的准确人数；首先将输入的图片划分为S×S个栅格，每个栅格预测B个边界框，对应B个先验框；定义检测的置信度

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

每个预测的边界框都包含五个预测值：边界框的中心坐标(x,y)、边界框的高和宽(h,w)、目标的置信度；其中，b_x、b_y、b_h、b_w分别是边界框的中心坐标、高和宽，p_h和p_w是先验框的高和宽；t_x、t_y、t_h和t_w分别是网络预测的中心坐标、高和宽；t₀是直接预测得到的边界框的置信度，在YOLOv3中将t₀经过σ(·)变换后的σ(t₀)作为边界框置信度的值；c_x和c_y是相对偏移量；σ(·)函数为logistic函数，将坐标归一化到0-1之间；和则代表边界框的缩放因子；代表栅格预测的边界框与目标的重合面积，而Pr(Object)则表示栅格中是否包含目标物体；如果栅格中包含目标物体，则Pr(Object)＝1，如果栅格中不包含目标物体，则Pr(Object)＝0；

若待检测的目标种类超过1，则设当预测的栅格内包含物体时，该物体属于类别c的概率的条件概率为Pr(Class_c|Object)，则该预测框的置信度为目标属于类概率及重合面积相乘获得

在训练时，模型的损失函数定义为

其中coordError代表边界框的中心坐标(x,y)和边界框的高和宽(h,w)的损失，iouError代表栅格置信度C_i的损失，classError则代表分类概率p_i(c)的损失；YOLO使用λ_coord和λ_noobj来修正包含目标的边界框和不包含目标的边界框的权重；设表示物体obj在第i个栅格内，并且与第j个预测边界框的重合面积最大；表示物体obj在第i个栅格内，不在第j个预测边界框内；

其中，C_i是第i个栅格的置信度，p_i(c)是第i个栅格内目标属于c类的分类概率，classes代表需要检测的目标集合；为网络预测值，x_i,y_i,w_i,h_i,C_i,p_i(c)为标注的值；

在检测时，通过非极大值抑制方法，保留最准确的边界框，减少边界框的数量；非极大值抑制方法的实施方法如下：设检测结束后，得到的边界框为B₁,B₂,B₃,···,B_n，边界框的置信度分别为P₁,P₂,P₃,···,P_n；选择最大的置信度作为参考值，依次计算剩余边界框的重叠度U

U＝max(P₁,P₂,P₃,···,P_n)-P_x

P_x∈{P₁,P₂,P₃,···,P_n-1}

当U小于阈值时，证明该类边界框已存在最优边界框，则将该类边界框去掉，保留B_n；在剩余的B₁,B₂,B₃,···,B_m中，其中m＜n，再选择最大的边界框的置信度P_m作为参考值，重复上述过程；最终获得准确的标记框。