[发明专利]一种基于视觉的双手离开方向盘检测方法及装置

说明书

本发明提供一种基于视觉的双手离开方向盘检测方法，包括：收集样本数据，之后对样本数据进行标注，之后采用标注后的样本数据进行网络训练及优化，得到模型；将模型转成ncnn下的模型；获取驾驶员的红外图片，对图片进行处理后，输入至模型中，对模型结果进行解析获取到方向盘位置，将方向盘区域扩大并选择设定的roi区域，把roi区域裁剪出来，同样对裁剪后的图片进行处理，输入到模型中判断驾驶员双手是否离开方向盘，若驾驶员没有一只手再方向盘上，则进行告警；否，则不告警；本发明还提供一种装置，能有效提高模型检出率以及减少网络输入大小，更快的提高模型速度。

技术领域

本发明涉及计算机技术领域，特别涉及一种基于视觉的双手离开方向盘检测方法及装置。

背景技术

司机在驾驶车辆时，有很多因素在干扰着安全驾驶，加上驾驶员不一定遵守交通法规和安全操作规程，如开车接电话，抽烟等行为都会危害到乘客的安全。此时通过判断司机双手离开方向盘时长，可对司机进行警告来纠正司机的不规范行为。就目前而言，司机双手离开方向盘的检测方法主要有三种：

(1)基于方向盘扭矩信号：通过多个电动转向信号估计驾驶员扭矩状态，使用扭矩状态来确定驾驶员是否抓握方向盘，通过驾驶员扭矩状态的幅值与高抓握扭矩阈值进行比较来确定。该方法处理速度上比较有优势，但是缺点非常明显，只能使用预先设置好的经验阈值，鲁棒性不好，适用范围小。

(2)基于方向盘传感器测量双手压力或温度等方法：主要是通过硬件传感器的能力，在方向盘周围安装传感器，通过温度或者压力感应来判断双手是否紧握方向盘。该方法处理速度上快，但是成本较高，而且会容易受到外界干扰因素，比较容易引起误报。

(3)基于机器视觉的方法：随着深度学习的发展，计算机机器视觉技术通过卷积神经网络得到了快速发展。深度学习方法的最大优点是通过卷积网络学习目标任务需要的特征，在许多领域里，深度学习物体识别率上已经能超过人眼。由于硬件设备计算能力的限制，效果优秀的神经网络是需要足够的算力，所以很多人工智能项目落地困难。

发明内容

本发明要解决的技术问题，在于提供一种基于视觉的双手离开方向盘检测方法及装置，能有效提高模型检出率以及减少网络输入大小，更快的提高模型速度。

第一方面，本发明提供了一种方法，包括：

步骤1、收集样本数据，之后对样本数据进行标注，之后采用标注后的样本数据进行网络训练及优化，得到模型；

步骤2、将模型转成ncnn下的模型；

步骤3、获取驾驶员的红外图片，对图片进行处理后，输入至模型中，对模型结果进行解析获取到方向盘位置，将方向盘区域扩大并选择设定的roi区域，把roi区域裁剪出来，同样对裁剪后的图片进行处理，输入到模型中判断驾驶员双手是否离开方向盘，若驾驶员没有一只手再方向盘上，则进行告警；否，则不告警。

进一步地，所述步骤1进一步具体为：通过车内监控摄像头收集驾驶员的红外图片，包括摄像头在驾驶员正上方的图片、摄像头在车门顶部的图片和网上爬取的方向盘图片；

将收集的红外图片中的方向盘进行标注，获取到方向盘的位置坐标，将方向盘区域扩大并选择设定的roi区域后，裁剪下来后对该图片进行标注，分别标出司机手握紧方向盘的手坐标、没有握方向盘的手坐标以及类别信息；

使用caffe框架来进行网络训练，需要把标注后的红外图片转成caffe下的lmdb训练数据，方向盘检测网络和双手离开方向盘识别网络都选择MobileNet v2-yolov3网络，采用SGD优化学习方法，设定学习率以及每次训练数据数量，并对不同输入大小的图片进行数据增强操作，方向盘检测网络和双手离开方向盘识别网络均训练设定次数后，网络loss值稳定并且收敛，之后对方向盘检测网络进行剪枝优化，最终得到训练好的模型。

进一步地，所述步骤3进一步具体为：