[发明专利]基于计算机视觉的双手脱离方向盘检测方法

权利要求书

1.基于计算机视觉的双手脱离方向盘检测方法，其特征在于：包括数据采集与标注、线下模型训练、线上模型部署与预测三个阶段；

所述数据采集与标注阶段包括：

A1、收集图片；

A2、对收集到的图片预处理，将预处理好的图片进行人工标注；

A3、将原始图片和标注信息整理成标注数据集；

所述线下模型训练阶段包括：

B1、以数据采集和标注阶段获得的标准数据集作为输入；

B2、以Yolo v3网络结构为基础，通过裁剪优化，设计出适用于手势检测的网络结构；

B3、基于Caffe框架，通过调参调优训练手势检测模型；

线上模型预测阶段，包括：部署线下训练好的手势检测模型至嵌入式检测设备，实时检测司机的状态，并根据检测模型返回的结果，最终判断司机双手是否脱离方向盘。

2.如权利要求1所述的基于计算机视觉的双手脱离方向盘检测方法，其特征在于：所述步骤A1收集的图片数据源包括：车辆DVR监控摄像头记录的真实场景视频、车内固定摄像头录取的图片数据及网上爬取的数据集和可公开获取的手势数据集；其中固定摄像头的固定位置含主驾驶正上方和副驾驶正上方两个位置。

3.如权利要求1所述的基于计算机视觉的双手脱离方向盘检测方法，其特征在于：所述步骤A2中图片预处理，包括从视频中截取图片以及删除场景重复的图片；所述将预处理好的图片进行人工标注，是指在图片上标注出手的框位置信息以及手类别信息，手的框位置信息包含左上右下两个点的坐标值，手类别信息包含手握方向盘和手没握方向盘。

4.如权利要求1所述的基于计算机视觉的双手脱离方向盘检测方法，其特征在于：所述步骤B2中裁剪优化括：对主干网进行冗余删除，将网络输入从416x416变为128x128，保留20个卷积和1个全连接，同时进行通道剪枝。

5.如权利要求1所述的基于计算机视觉的双手脱离方向盘检测方法，其特征在于：所述步骤B3中基于Caffe框架，通过调参调优训练手势检测模型包括：采用Adam优化学习方法，设置初始学习率为0.005，权重衰减因子设置为0.00005进行训练，训练时，设置batch_size为256，即每256个样本计算一次loss和基于loss做一次反向传播，更新权值；训练时，还对数据做镜像、随机亮度增强、随机对比度增强、随机裁剪、扩充增强操作。

6.如权利要求1所述的基于计算机视觉的双手脱离方向盘检测方法，其特征在于：所述嵌入式检测设备为嵌入式ARM检测系统。

7.如权利要求1所述的基于计算机视觉的双手脱离方向盘检测方法，其特征在于：所述线上模型预测阶段包括：

C1、读取摄像头每帧的图片；

C2、使用第二个阶段训练好的手势检测模型对当前帧的图片进行分析检测；

C3、分析模型返回的检测结果，得出司机双手是否脱离方向盘的结论。

8.如权利要求7所述的基于计算机视觉的双手脱离方向盘检测方法，其特征在于：所述步骤C3分析模型返回的检测结果，具体如下：

先判断方向盘上手的数目，若等于零，则得出检测不到手且司机双手脱离方向盘的结论，若大于零，则遍历所有手的类别信息；

再判断手握方向盘的数目，若等于零，则得出检测到手且司机双手脱离方向盘的结论，若不等于零，则得出检测到手且手握了方向盘的结论。