[发明专利]一种基于驾驶室近红外相机的分神驾驶行为预警方法

权利要求书

1.一种基于驾驶室近红外相机的分神驾驶行为预警方法，其特征在于包括下列步骤：

①驾驶员人脸检测：通过车载近红外相机离线采集驾驶室场景近红外图像数据，对图像数据人脸区域进行标注，离线训练Adaboost分类器作为人脸检测分类器，利用人脸检测分类器搜索人脸感兴趣区域；

②危险驾驶行为检测：基于人脸感兴趣区域，增加背景区域，利用深度卷积神经网络进行危险驾驶行为检测；

③危险驾驶行为预警：利用时序数据对危险驾驶行为进行多帧确认，如达到设定的连续帧数阈值，则发出视觉预警信号和/或听觉预警信号。

2.根据权利要求1所述的一种基于驾驶室近红外相机的分神驾驶行为预警方法，其特征在于所述的步骤①包括下列步骤：

(1.1)通过车载近红外相机离线采集驾驶室场景近红外图像数据，对图像数据人脸区域进行标注，生成正样本图像12000张，负样本图像20000张，离线训练级联Haar特征或LBP特征的Adaboost分类器作为人脸检测分类器；

(1.2)利用人脸检测分类器，在驾驶室感兴趣区域内按设定步长以及设定尺度滑窗搜索人脸感兴趣区域，对于每个滑窗，计算离线训练时所应用的Haar特征算子或LBP特征算子，并将所得特征向量送入Soft-Cascade分类器进行二分类，利用NMS对分类结果一致的重合滑窗区域进行合并，在线获得驾驶员人脸感兴趣区域；

(1.3)根据在线检测获得的驾驶员人脸感兴趣区域，提取角点计算，利用Lucas-Kanade光流方法计算角点特征的运动信息，并且更新角点特征位置，基于相似性投影关系假设，利用RANSAC方法计算当前帧人脸的位置更新，并与当前帧人脸检测结果进行融合，获得最终人脸感兴趣区域。

3.根据权利要求1所述的一种基于驾驶室近红外相机的分神驾驶行为预警方法，其特征在于所述的步骤②为：基于获得的最终人脸感兴趣区域，按1.2的比例系数，增加背景区域，生成用于分析危险驾驶行为的吸烟感兴趣区域和接打电话感兴趣区域，利用深度卷积神经网络进行危险驾驶行为检测，检测方法包括下列步骤：

(2.1)深度卷积神经网络设计：采用深度卷积神经网络设计行为检测网络结构，包括区域建议网络结构和区域回归网络结构；

(2.2)离线训练深度卷积神经网络结构：分别训练吸烟和接打电话两种行为的检测网络，检测网络的训练分为两个步骤，第一步训练区域建议网络结构，第二步训练区域回归网络结构；

(2.3)前端应用深度卷积神经网络结构：在吸烟感兴趣区域和接打电话感兴趣区域内进行危险驾驶行为检测。

4.根据权利要求3所述的一种基于驾驶室近红外相机的分神驾驶行为预警方法，其特征在于所述的步骤(2.1)中，所述的区域建议网络结构由卷积层构成，输入为16×16×3图像数据，输出为区域建议框的置信度以及粗略顶点位置；所述的区域回归网络结构由卷积层和全连接层构成，输入为32×32×3图像数据，输出为危险驾驶行为的置信度以及精确顶点位置。

5.根据权利要求3所述的一种基于驾驶室近红外相机的分神驾驶行为预警方法，其特征在于所述的步骤(2.2)离线训练深度卷积神经网络结构包括：采集包含吸烟行为的图像样本及包含接打电话行为的图像样本各50000张，人工标注生成相应训练标签，分别训练吸烟行为检测网络和接打电话行为检测网络，每个检测网络的训练分为两个步骤，分类损失函数L_cls设置为交叉熵，回归损失函数L_reg设置为边界框顶点的欧式距离；

第一步训练区域建议网络结构，训练样本根据标签生成，训练损失函数设置如下：

Loss1＝α1×L_cls+β1×L_reg，α1、β1均为可配置参数；

第二步训练区域回归网络结构，训练样本根据区域建议网络结构在原始训练样本集输出结果生成，训练损失函数设置如下：

Loss2＝α2×L_cls+β2×L_reg，α2、β2为可配置参数；

采用随机梯度下降的方式进行训练。