[发明专利]一种基于YOLOV3司机危险动作识别方法及系统

权利要求书

1.一种基于YOLOV3司机危险动作识别方法，其特征在于：包括：

步骤1、获取司机的红外图像，人脸检测算法检测司机的人脸位置，并且按照人脸位置选取司机危险行为待识别区域；

步骤2、使用YOLOV3模型检测待识别区域是否发生司机危险动作状态，若否，则认为司机正常驾驶，结束；若是，则得到YOLOV3识别结果，并得到YOLOV3检测区，进入步骤3；

步骤3、通过lightcnn模型对YOLOV3检测区进行识别，是否发生司机危险动作状态，若否，则认为司机正常驾驶，若是，则得到lightcnn识别结果，若lightcnn识别结果与YOLOV3识别结果相同，且该情况连续发生第一设定值的帧，发出警报；若lightcnn识别结果与YOLOV3识别结果不同，且该情况连续发生第二设定值的帧，则警报；

其中，所述YOLOV3算法的训练方式为：

收集实际应用场景的司机图片；对收集的司机图片进行危险行为分类包括：正常行为，打电话，使用聊天软件，喝水和抓耳摸脸5类；并且对打电话，使用聊天软件，喝水和抓耳摸脸动作发生区域标注4类的矩形框记录下全图中的位置和动作属于的类别，对于正常行为无需标注矩形框；

对样本库图片进行人脸检测记录位置(face_x，face_y，face_w，face_h)，然后以人脸上边缘固定向下正方形扩大设定倍数，作为危险行为分析区域(roi_x，roi_y，roi_w，roi_h)，其中roi_x＝face_x-face_w*(2.5-1)/2，roi_y＝face_y，roi_w＝2.5*face_w，roi_h＝2.5*face_h，训练样本预处理直接重原图中截取(roi_x，roi_y，roi_w，roi_h)并且大小归一化到设定尺寸；标签预处理，YOLOV3学习的标注标签是框的相对偏移，所以对于目标框来说真正的训练标签为(label_x，label_y，label_w，label_h)，其中，label_x＝(box_x-roi_x)/roi_w，label_y＝(box_y-roi_y)/roi_h，label_w＝box_w/roi_w，label_h＝box_h/roi_h；类别label_class，正常行为类别为0，打电话类别为1，使用聊天软件类别为2，喝水类别为3和抓耳摸脸类别为4；

训练网络候选框的聚类选择，通过k-mean算法聚类6个候选框比例，其中6个候选框分成2个网络尺度输出，即每一个网络尺度输出包含3个比例候选框；主干网络是参数量经过大量裁减的VGG-mobileNet，模型训练使用深度学习框架caffe，训练内容：是输入图像预测是否存在危险驾驶行为，如果有危险驾驶行为具体是打电话、使用聊天软件、喝水或者抓耳摸脸行为中的哪一类，并且预测出发生危险行为的准确位置；

其中，所述lightcnn模型训练方式为：

样本收集；样本收集从正常的标注的打电话，使用聊天软件，喝水和抓耳摸脸的标注框中截取样本区域，背景样本随机从图像无以上4种危险行为的区域中截取；样本尺寸归一化到128*128；

模型选择与训练；分类模型选择的是lightcnn网络结构，网络的输出为5类，分别为正常行为类别为0，打电话类别为1，使用聊天软件类别为2，喝水类别为3和抓耳摸脸类别为4；使用Softmax交叉熵损失进行目标学习，caffe框架中自带Softmax交叉熵损失函数的操作；模型训练Softmax交叉熵损失稳定收敛在较小的区域时，模型训练完成。

2.根据权利要求1所述的一种基于YOLOV3司机危险动作识别方法，其特征在于：还包括步骤4、将YOLOV3识别结果以及lightcnn识别结果上传云端。

3.根据权利要求1所述的一种基于YOLOV3司机危险动作识别方法，其特征在于：所述步骤1进一步具体为：获取司机的红外图像，人脸检测算法检测司机的人脸位置，以人脸上边缘固定向下正方形扩大设定倍数，之后此区域截取出来然后尺寸归一化到设定大小，得到待识别区域。