[发明专利]驾驶员疲劳状态识别方法、系统、电子设备和存储介质

说明书

本公开涉及计算机技术领域，提供一种驾驶员疲劳状态识别方法、系统、电子设备和存储介质。方法包括：响应于车辆的启动信号，持续获得驾驶员的红外图像；对红外图像进行人脸检测，获得驾驶员的脸部图像；对脸部图像进行人脸关键点检测，获得多个脸部关键点位置向量和驾驶员的头部姿态；根据脸部关键点位置向量，获得脸部图像中包括左眼区域、右眼区域和嘴部区域的关键区域图像，对关键区域图像进行张闭状态识别，获得驾驶员的眼部状态和嘴部状态；基于头部姿态、眼部状态和嘴部状态，当满足预定条件时判断驾驶员处于疲劳状态并发出提示信息。本公开能部署于车载嵌入式系统，在各种环境下实现准确率高、运算速度快、功耗低的驾驶员疲劳状态识别。

技术领域

本公开涉及计算机技术领域，具体地说，涉及一种驾驶员疲劳状态识别方法、系统、电子设备和存储介质。

背景技术

随着社会经济发展和城市道路的大规模建设，机动车数量剧增。相应地，交通事故的发生数量也日益增高。交通事故的主要原因之一，是由于驾驶员身体疲劳、注意力不集中等因素导致的疲劳驾驶。因此，有效检测驾驶员是否处于疲劳状态，在保障驾驶员与乘客安全方面起着至关重要的作用。

目前，部分机构与企业针对疲劳驾驶检测提出了相应的解决方案。一般流程为：通过预置在车舱内的摄像头，采集包含驾驶员面部信息的图片；根据图片进行面部定位；然后检测面部关键点，例如眼睛和嘴巴，分析眼睛和嘴巴的状态，当判断存在疲劳驾驶的情况，发出提醒信号。

现有的疲劳驾驶检测方案存在以下不足：

当行车环境变暗，如进入隧道、夜间行驶，或者驾驶员戴口罩、墨镜等情况，摄像头无法有效捕获到驾驶员的人脸，也就无法进行疲劳驾驶的监控；

当驾驶员左顾右盼时，摄像头捕捉到的是驾驶员部分的人脸，或者在驾驶员面部姿态较大的情况下，面部定位和面部关键点检测容易输出错误结果；

面部定位和面部关键点检测的算法运算量大，而车辆的运算平台为了降低用电量和发热量，一般设计为低功耗芯片，计算能力较差。这导致疲劳状态的计算结果有时间上的延迟，很难做到实时检测与提醒。

需要说明的是，在上述背景技术部分申请的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开提供一种驾驶员疲劳状态识别方法、系统、电子设备和存储介质，能够部署在车载嵌入式系统中，在各种环境下实现准确率高、运算速度快、功耗低的驾驶员疲劳状态识别。

本公开的第一方面提供一种驾驶员疲劳状态识别方法，包括：响应于车辆的启动信号，持续获得驾驶员的红外图像；对所述红外图像进行人脸检测，获得所述驾驶员的脸部图像；对所述脸部图像进行人脸关键点检测，获得所述脸部图像中基于人脸框位置的多个脸部关键点位置向量、以及所述驾驶员的头部姿态；根据所述脸部关键点位置向量，获得所述脸部图像中包括所述驾驶员的左眼区域、右眼区域和嘴部区域的关键区域图像，并对所述关键区域图像进行张闭状态识别，获得所述驾驶员的眼部状态和嘴部状态；以及，基于所述头部姿态、所述眼部状态和所述嘴部状态，当满足预定条件时判断所述驾驶员处于疲劳状态并发出提示信息，所述预定条件包括：所述头部姿态在第一预设时间段内持续低下；和/或所述眼部状态在第二预设时间段内持续闭合；和/或所述嘴部状态在第三预设时间段内持续张开。

在一个实施例中，所述根据所述脸部关键点位置向量的步骤之前，还包括：基于水平方向对所述脸部图像进行矫正；以及，基于矫正后的所述脸部图像对所述脸部关键点位置向量进行矫正。

在一个实施例中，所述基于水平方向对所述脸部图像进行矫正的步骤包括：根据所述脸部关键点位置向量中左眼位置向量和右眼位置向量，获得左眼与右眼的连线与所述水平方向的夹角，作为矫正角度；以及，以所述脸部图像的人脸框的中心点为旋转中心，将所述脸部图像旋转所述矫正角度。