[发明专利]一种驾驶员驾驶状态预警系统

权利要求书

1.一种驾驶员驾驶状态预警系统，其特征在于，所述系统包括驾驶员图像获取单元、图像预处理单元、驾驶状态监测单元和驾驶状态预警单元，其中：

所述驾驶员图像获取单元用于实时获取驾驶过程中驾驶员的图像；

所述图像预处理单元用于对实时获取的驾驶员图像进行预处理，获得图像中人脸位置的矩形框以及人脸关键点的位置；再根据获得的人脸关键点位置对图像做对齐校准，获得对齐校准后的图像，再根据人脸位置矩形框从对齐校准后图像中截取出感兴趣区域图像，即截取出每张图像中的人脸区域图像；

所述驾驶状态监测单元中包括第一监测模块至第七监测模块，所述第一监测模块至第七监测模块分别用于对不同的状态进行监测；其中：

所述第一监测模块用于根据对齐校准后图像中的人脸关键点位置和截取出的人脸区域图像进行打哈欠状态的监测，具体的监测方式为：

对于截取出的任意一张人脸区域图像，根据该张人脸区域图像中嘴部的关键点位置信息计算嘴巴的张开度，即嘴巴的横宽比：

其中，为中间变量，为第50个关键点的坐标，为第52个关键点的坐标，为第58个关键点的坐标，为第56个关键点的坐标，为第60个关键点的坐标，为第64个关键点的坐标；

其中，为嘴巴的张开度；

若的值大于等于设置的阈值，则该张人脸区域图像中出现打哈欠状态，否则未出现打哈欠状态；

同理，对实时获得的每张人脸区域图像中的打哈欠状态进行监测；

所述驾驶状态预警单元用于根据驾驶状态监测单元的监测结果向驾驶员进行驾驶状态预警。

2.根据权利要求1所述的一种驾驶员驾驶状态预警系统，其特征在于，所述驾驶员图像获取单元利用红外相机实时获取驾驶过程中驾驶员的图像。

3.根据权利要求2所述的一种驾驶员驾驶状态预警系统，其特征在于，所述图像预处理单元对实时获取的驾驶员图像进行预处理，采用的是MTCNN P-R-O网络。

4.根据权利要求3所述的一种驾驶员驾驶状态预警系统，其特征在于，所述第二监测模块和第三监测模块分别用于根据对齐校准后图像中的人脸关键点位置以及截取出的人脸区域图像进行左顾右盼状态的监测和低头状态的监测，具体的监测方式为：

步骤S1、根据红外相机的内外参获得平均脸3d模版；

步骤S2、对于截取出的任意一张人脸区域图像，根据平均脸3d模版，将该张人脸区域图像中的人脸关键点位置映射到三维，获得人脸关键点对应的三维坐标；

步骤S3、根据人脸关键点对应的三维坐标求取出该张人脸区域图像中的人脸角度姿态；

再根据求取出的人脸角度姿态判断该张人脸区域图像中是否出现左顾右盼状态以及低头状态；

步骤S4、重复步骤S2至步骤S3的过程，对实时获得的每张人脸区域图像进行左顾右盼状态以及低头状态监测。

5.根据权利要求4所述的一种驾驶员驾驶状态预警系统，其特征在于，所述第四监测模块用于根据驾驶员图像获取单元获取的图像和截取出的人脸区域图像进行接打电话状态监测，具体的监测方式为：

对驾驶员图像获取单元获取的图像进行手势识别，然后再对人脸区域图像的嘴部区域进行检测，结合手势识别结果和嘴部区域检测结果判断图像中是否出现接打电话状态；

所述对驾驶员图像获取单元获取的图像进行手势识别所采用的是改进的MTCNN网络；且对MTCNN网络改进的具体过程为：

将MTCNN网络中的卷积层替换为Depthwise卷积，将池化层去掉，替换为卷积的stride操作。

6.根据权利要求5所述的一种驾驶员驾驶状态预警系统，其特征在于，所述第五监测模块用于根据驾驶员图像获取单元获取的图像进行吸烟状态的监测，具体的监测方式为：

对驾驶员图像获取单元获取的图像进行手势识别和亮点检测，再根据手势识别和亮点检测结果对获取的每张图像进行吸烟状态监测。