[发明专利]基于面部识别和行为识别融合的疲劳驾驶监测方法和系统

说明书

本发明公开了一种基于面部识别和行为识别融合的疲劳驾驶监测方法，包括：对采集的行为图像检测人体位置；对检测到的人体位置进行骨架检测，得到人体各部位在图像中所处的位置及对应的置信度，并且同时预测各部位间的关联向量场，通过关联向量场表示各部位间的连接关系，得到人体骨架模型；将预定义疲劳驾驶状态的骨架模型与获得的骨架模型进行比对，得到行为状态识别结果；对采集的面部图像进行处理，得到面部表情状态特征，根据面部表情状态特征判断是否疲劳驾驶，得到面部状态识别结果；将面部状态识别结果以及行为状态识别结果进行融合得到最终检测结果。将面部识别结果和行为识别结果进行动态融合，可以准确判定疲劳驾驶状态，精度更高。

技术领域

本发明涉及疲劳驾驶检测技术领域，具体地涉及一种基于面部识别和行为识别融合的疲劳驾驶监测方法和系统。

背景技术

驾驶人疲劳状态的检测目前有较多研究的方法，按检测的类别可大致分为基于驾驶人生理信号的检测、基于驾驶人操作行为的检测、基于车辆状态信息的检测和基于驾驶人生理反应特征的检测等方法。

基于生理信号(脑电信号、心电信号等)判别疲劳驾驶的准确性较高，且对所有健康的驾驶员来说，生理信号差异性不大，具有共性，但传统的生理信号采集方式需要采用接触式测量，给驾驶人疲劳检测的实际应用带来很多不便和局限性。

驾驶人的操作行为除了与疲劳状态有关外，还受到个人习惯、行驶速度、道路环境、操作技能的影响，因此需要考虑的干扰因素较多，影响基于驾驶人操作行为(如方向盘操作等)判别疲劳驾驶的精确度。

利用车辆行驶轨迹变化和车道线偏离等车辆行驶状态信息也可推测驾驶人的疲劳状态，但是车辆的行驶状态也与车辆特性、道路等很多环境因素有关，和驾驶人的驾驶经验以及驾驶习惯相关性较大，因此基于车辆状态信息判别疲劳驾驶需要考虑的干扰因素也较多。

基于驾驶人生理反应特征的疲劳驾驶判别方法是指利用驾驶人的眼睛特性、嘴部运动特征等推断驾驶人的疲劳状态，这些信息被认为是反映疲劳的重要特征，眨眼幅度、眨眼频率、平均闭合时间和打哈欠的动作等都可直接用于检测疲劳，但由于不同的驾驶员的习惯和特征存在一定的差异，使通过单个面部表情特征来判断驾驶员状态的鲁棒性不够高。

但是，由于驾驶员的个体差异，单一检测指标的检测手段存在局限性，主要表现为准确性较低、容易出现偏差，等等。

因此，如何将多传感器信息融合技术引入到驾驶疲劳检测技术中来，以提高驾驶员疲劳检测的准确性和实时性，成为亟待解决的问题。

发明内容

为了解决上述技术问题，本发明提出了一种基于面部识别和行为识别融合的疲劳驾驶监测系统和方法，将面部识别结果和行为识别结果进行动态融合，可以准确判定疲劳驾驶状态，精度更高。

本发明所采用的技术方案是：

一种基于面部识别和行为识别融合的疲劳驾驶监测方法，包括以下步骤：

S01：采用第一深度卷积神经网络对采集的行为图像检测人体位置；

S02：采用第二深度卷积神经网络对检测到的人体位置进行骨架检测，得到人体各部位在图像中所处的位置及对应的置信度，并且同时预测各部位间的关联向量场，通过关联向量场表示各部位间的连接关系，根据得到的各部位的位置和部位间的关联向量场得到人体骨架模型；

S03：将预定义疲劳驾驶状态的骨架模型与获得的骨架模型进行比对，得到行为状态识别结果p₁(x)；

S04：对采集的驾驶员面部图像进行处理，得到驾驶员的面部表情状态特征，根据面部表情状态特征判断是否疲劳驾驶，得到面部状态识别结果p₂(x)；