[发明专利]一种基于视觉的双手离开方向盘检测方法及装置

权利要求书

1.一种基于视觉的双手离开方向盘检测方法，其特征在于：包括：

步骤1、收集样本数据，之后对样本数据进行标注，之后采用标注后的样本数据进行网络训练及优化，得到模型；

步骤2、将模型转成ncnn下的模型；

步骤3、获取驾驶员的红外图片，对图片进行处理后，输入至模型中，对模型结果进行解析获取到方向盘位置，将方向盘区域扩大并选择设定的roi区域，把roi区域裁剪出来，同样对裁剪后的图片进行处理，输入到模型中判断驾驶员双手是否离开方向盘，若驾驶员没有一只手再方向盘上，则进行告警；否，则不告警；

其中，所述步骤1进一步具体为：通过车内监控摄像头收集驾驶员的红外图片，包括摄像头在驾驶员正上方的图片、摄像头在车门顶部的图片和网上爬取的方向盘图片；

将收集的红外图片中的方向盘进行标注，获取到方向盘的位置坐标，将方向盘区域扩大并选择设定的roi区域后，裁剪下来后对该图片进行标注，分别标出司机手握紧方向盘的手坐标、没有握方向盘的手坐标以及类别信息；

使用caffe框架来进行网络训练，需要把标注后的红外图片转成caffe下的lmdb训练数据，方向盘检测网络和双手离开方向盘识别网络都选择MobileNet v2-yolov3网络，采用SGD优化学习方法，设定学习率以及每次训练数据数量，并对不同输入大小的图片进行数据增强操作，方向盘检测网络和双手离开方向盘识别网络均训练设定次数后，网络loss值稳定并且收敛，之后对方向盘检测网络进行剪枝优化，最终得到训练好的模型；

其中：所述步骤3进一步具体为：

步骤31、车辆启动，获取驾驶员的红外图片，对图片进行处理，若不存在方向盘位置，则输入至方向盘检测网络中，对模型结果进行解析获取到方向盘位置，进入步骤32；若存在，则进入步骤32；

步骤32、将方向盘区域扩大并选择设定的roi区域，把roi区域裁剪出来，同样对裁剪后的图片进行处理，输入到双手离开方向盘识别网络中判断驾驶员双手是否离开方向盘，若设定时间内，双手离开方向盘识别网络持续识别到驾驶员没有一只手再方向盘上，则再次调用方向盘检测网络，如果检测到方向盘则告警，如果检测不到方向盘，则不需要报警；若设定时间内，双手离开方向盘识别网络持续识别到驾驶员有一只或者两只手再方向盘上，则不告警。

2.一种基于视觉的双手离开方向盘检测装置，其特征在于：包括：

训练优化模块，收集样本数据，之后对样本数据进行标注，之后采用标注后的样本数据进行网络训练及优化，得到模型；

转化模块，将模型转成ncnn下的模型；

检测模块，获取驾驶员的红外图片，对图片进行处理后，输入至模型中，对模型结果进行解析获取到方向盘位置，将方向盘区域扩大并选择设定的roi区域，把roi区域裁剪出来，同样对裁剪后的图片进行处理，输入到模型中判断驾驶员双手是否离开方向盘，若驾驶员没有一只手再方向盘上，则进行告警；否，则不告警；

其中，所述训练优化模块进一步具体为：通过车内监控摄像头收集驾驶员的红外图片，包括摄像头在驾驶员正上方的图片、摄像头在车门顶部的图片和网上爬取的方向盘图片；

将收集的红外图片中的方向盘进行标注，获取到方向盘的位置坐标，将方向盘区域扩大并选择设定的roi区域后，裁剪下来后对该图片进行标注，分别标出司机手握紧方向盘的手坐标、没有握方向盘的手坐标以及类别信息；

使用caffe框架来进行网络训练，需要把标注后的红外图片转成caffe下的lmdb训练数据，方向盘检测网络和双手离开方向盘识别网络都选择MobileNet v2-yolov3网络，采用SGD优化学习方法，设定学习率以及每次训练数据数量，并对不同输入大小的图片进行数据增强操作，方向盘检测网络和双手离开方向盘识别网络均训练设定次数后，网络loss值稳定并且收敛，之后对方向盘检测网络进行剪枝优化，最终得到训练好的模型；

其中，所述检测模块进一步具体为：

位置单元，车辆启动，获取驾驶员的红外图片，对图片进行处理，若不存在方向盘位置，则输入至方向盘检测网络中，对模型结果进行解析获取到方向盘位置，进入告警单元；若存在，则进入告警单元；

告警单元，将方向盘区域扩大并选择设定的roi区域，把roi区域裁剪出来，同样对裁剪后的图片进行处理，输入到双手离开方向盘识别网络中判断驾驶员双手是否离开方向盘，若设定时间内，双手离开方向盘识别网络持续识别到驾驶员没有一只手再方向盘上，则再次调用方向盘检测网络，如果检测到方向盘则告警，如果检测不到方向盘，则不需要报警；若设定时间内，双手离开方向盘识别网络持续识别到驾驶员有一只或者两只手再方向盘上，则不告警。