[发明专利]一种驾驶疲劳检测方法及装置

说明书

本发明公开一种驾驶疲劳检测方法及装置，其中，驾驶疲劳检测方法包括：步骤S1，通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；步骤S2，对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；步骤S3，将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的LSTM神经网络模型中，得到驾驶疲劳检测结果。本发明分别利用摄像头采集驾乘人员面部信息，利用毫米波雷达采集驾乘人员心率呼吸信息，避免了仅使用摄像头时无法应对遮挡、光照变化和对环境变化敏感等问题，具有全天候工作能力。

技术领域

本发明属于汽车技术领域，具体涉及一种驾驶疲劳检测方法及装置。

背景技术

驾驶疲劳是疲劳的一种特例，也是一种复杂的生理心理表现。驾驶疲劳分为生理疲劳和心理疲劳两个方面。生理疲劳是指驾乘人员长时间处于驾驶室固定位置导致血液流通不畅，进而引起肢体麻木，操作迟钝。心理疲劳则主要是指驾乘人员时刻观察车内外情况使得精神高度紧张，心理负荷加大，驾车时间过长后导致驾乘人员精神难以集中，思维反应变慢。如果驾乘人员在疲劳后仍然继续驾驶，这时由于驾乘人员注意力不集中、四肢乏力、判断力下降甚至是操作停顿，极易发生交通事故。由此看来，驾驶疲劳研究对提高驾驶安全性非常重要。

此外，对于当前迅速发展的智能驾驶来说，驾驶疲劳研究同样意义重大。在智能驾驶的发展阶段中，L3级别以下的辅助驾驶阶段和L3级别的人机共驾阶段都需要准确的驾乘人员状态检测来辅助驾驶权限的切换和驾驶意图的判别，疲劳检测是其中重要一环。准确判断驾乘人员疲劳状态，一方面可在由疲劳驾驶造成误操作时，辅助预测驾乘人员真实意图；另一方面可在检测到驾乘人员疲劳时，由机器介入执行驾驶控制，维持安全驾驶。

目前在驾乘人员疲劳检测中，常用的方法有基于主观评价的检测方法、基于生理信号的检测方法、基于生理反应特征的检测方法、基于操作行为及其车辆状态的检测方法和基于生物化学的检测方法等，这些驾乘人员疲劳检测方法都有其各自的优点和局限性。其中，基于生理反应特征的检测方法具有非接触，对驾乘人员干扰小(即侵入性低)的优点，并且随着近年来人工智能、机器视觉及相关硬件的发展和智能驾驶中驾乘人员状态检测的提出，依靠摄像头采集驾乘人员面部或眼部信息来进行疲劳检测的方法成为主流，但目前仍然存在以下问题：第一是其对外界环境变化敏感，例如光照变化、面部或眼部被遮挡、眼镜墨镜和驾乘人员脸部不在检测区域等；第二是其无法及时预警，驾乘人员面部或眼部特征变化明显的时候已经是驾驶疲劳相当晚的阶段，此时的车辆行驶状态也已到了很危险的状态。

发明内容

本发明实施例所要解决的技术问题在于，提供一种驾驶疲劳检测方法及装置，减小外界环境变化的影响，提高驾驶疲劳检测的准确性、鲁棒性和及时性。

为解决上述技术问题，本发明提供一种驾驶疲劳检测方法，包括：

步骤S1，通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；

步骤S2，对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；

步骤S3，将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的LSTM神经网络模型中，得到驾驶疲劳检测结果。

进一步地，所述步骤S2对摄像头采集的驾乘人员面部图像进行图像处理，得到的驾乘人员面部特征点信息包括眼部特征、嘴部特征、面部轮廓特征的68个人体面部特征点的信息，其数据形式为时间戳及其对应的面部图片、特征序号及其对应的在图像上的像素位置。

进一步地，所述步骤S2对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到的驾乘人员心率及呼吸信息中，心率信息包括心率时间戳、心率均值以及由心率时间戳和心率均值转化成的心率变异性参数，呼吸信息包括呼吸时间戳、呼吸频率均值。