[发明专利]一种基于深度学习的驾驶员玩手机行为的检测方法

权利要求书

1.一种基于深度学习的驾驶员玩手机行为的检测方法，其特征在于具体检测方法如下：

采集驾驶员在驾驶室玩手机的视频样本转化为帧图像，将对应像素值相减得到差分图像，然后设定阈值对差分图像二值化，对二值化后的动态目标图像进行滤波、膨胀、腐蚀三种后续运算，去除孤立噪声点，得到动态目标区域，然后将获得的动态目标区域进行水平、垂直投影，找到动态目标区域上下左右四个临界点进行分割，得到动态目标区域包围盒；

将得到的动态目标区域包围盒采用归一化的弯曲操作进行动态目标粗定位，将动态目标区域包围盒统一成分辨率一致的正方形；

将归一化后的动态目标区域包围盒输入到训练后的卷积神经网络当中，使用分类器对输入的动态目标区域包围盒进行目标分类，区分出手和手机两类目标，给出手部和手机标签，得到手和手机的置信度分数，根据置信度分数阈值去除干扰目标，然后使用边框回归器对动态目标区域包围盒进行区域框定位，得到手和手机两类的动态目标区域包围盒；

如果手的动态目标区域包围盒和手机的动态目标区域包围盒之间的距离小于等于手动态目标区域包围盒的半径和手机动态目标区域包围盒的半径之和，则判定两类动态目标区域包围盒存在重合现象，驾驶员存在玩手机行为；如果手的动态目标区域包围盒和手机的动态目标区域包围盒之间的距离大于手的动态目标区域包围盒的半径和手机的动态目标区域包围盒的半径之和，则判定两类动态目标区域包围盒不存在重合现象，驾驶员不存在玩手机行为。

2.如权利要求1所述的一种基于深度学习的驾驶员玩手机行为的检测方法，其特征在于对差分图像二值化的阈值为45～60，在相同的环境亮度情况下，如果相邻帧图像的对应像素值变化小于阈值，将这些区域的像素标记为背景像素；如果相邻帧图像的对应像素值变化大于阈值，将这些区域的像素标记为目标像素。

3.如权利要求1所述的一种基于深度学习的驾驶员玩手机行为的检测方法，其特征在于所述的置信度分数阈值为0.88～0.92。

4.如权利要求1所述的一种基于深度学习的驾驶员玩手机行为的检测方法，其特征在于所述的置信度分数阈值为0.9。

5.如权利要求1所述的一种基于深度学习的驾驶员玩手机行为的检测方法，其特征在于卷积神经网络的训练步骤为：从网络上采集玩手机图片15000张制作成包含只有手、只有手机、手和手机同时存在三类目标图片的正样本集，从网络上采集20000张手和手机周围的复杂背景的图片制作成负样本集；

将采集到的数据集进行标注，制作手和手机的标签，转换成计算机操作格式；

将转换后的手和手机的数据分别输入两个独立的神经网络进行训练，首先标注手部区域和背景，输入手部网络中进行训练，随后进行手部分类器的分类和回归器的定位，给出置信度分数和包围盒，与此同时，标注手机区域和背景，输入手机网络中进行训练，随后进行手机分类器的分类和回归器的定位，给出置信度分数和包围盒；

训练完成后，将两个独立的神经网络的训练数据合并得到训练后的卷积神经网络。

6.如权利要求1所述的一种基于深度学习的驾驶员玩手机行为的检测方法，其特征在于所述的神经网络是经过优化的神经网络，具体的优化方法如下：

1)优化卷积核数量

(1)将特征映射图转化为可计算的矩阵，即灰度共生矩阵：取图像中的任意点(x,y)以及偏离它的一点(x+a,y+b)，设(x,y)点的灰度值为(i,j)；令点(x,y)在整个图像上移动，得到各种各样的(i,j)的值，设灰度值级数为k，则灰度值(i,j)的值共有k²种，遍历整个图像，统计每一种(i,j)出现的次数，排列成一个方阵，将得到的次数归一化为出现的概率p(i,j)，p(i,j)所生成的方阵即为灰度共生矩阵；

(2)计算灰度共生矩阵中的熵，灰度共生矩阵中的熵满足公式：

其中，p(i,j)指归一化后的灰度共生矩阵，Ent为灰度图熵值；

(3)将所计算的熵值进行大小排序，并设定需要删除的卷积核比例阈值，如下式所示：其中，D_E为需要删除的卷积核数目，N_E为当前层所拥有的卷积核个数，将需要删除的阈值Thershold设定为10％，保留下90％的卷积核。