[发明专利]一种多特征融合驾驶员异常表情识别方法

摘要

本发明公开了一种多特征融合驾驶员异常表情识别方法，该方法包括：S1、通过安装在驾驶员侧的摄像头对驾驶员的表情动作进行实时跟踪监测；S2、对实时驾驶员视频中的表情细节进行精确识别；S3、检测眼睛位置，判断其是否疲劳；S4、定位嘴部边缘轮廓，判断其是否出现哈欠动作；S5、检测头部动作，判断是否出现疲劳；S6、对眼睛状态、嘴部状态、头部运动状态的检测结果进行加权，最终判断其是否出现疲劳，并进行输出；S7、结合当前帧的识别结果作为后续帧的识别的预估位置，分别检测后续帧中的动作，实现对驾驶员异常行为的连续检测识别。本发明可以实时监测并进行报警触发，对对驾驶员进行警示提醒，防止出现交通事故，保证行车过程中的安全。

主权项

1.一种多特征融合驾驶员异常表情识别方法，其特征在于，实现在复杂的交通场景下，使用车载摄像头对驾驶员进行实时跟踪识别，对其异常动作进行检测，并触发报警信号，该方法包括以下步骤：S1、通过车载摄像头，对驾驶员进行实时检测，在视频中检测是否存在驾驶员人脸；如果存在，则对驾驶员人脸位置进行标识，作为进一步分析其表情细节的输入图像；S2、在检测到的驾驶员人脸区域中，定位关键表情单元的位置，分别在驾驶员人脸框内定位其眼睛、嘴巴、头部、颈部位置，并分别进行表情区域截取，作为后续精确分析表情的基础；S3、检测眼睛位置，使用眼睛状态分类器，识别眼睛的眨眼、睁眼动作，出现眨眼时，判断其眨眼的时长，作为判断其是否疲劳的依据；S4、在嘴部区域，定位嘴部边缘轮廓，并识别嘴部的张合动作，将该动作与哈欠状态分类器进行匹配，判断其是否出现哈欠动作；S5、对头部姿态进行定位，检测头部是否出现偏转、俯仰、摇摆的动作，并检测该动作出现的时长，作为其是否出现疲劳的依据；S6、对眼睛状态、嘴部状态、头部运动状态的检测结果进行加权，分别计算其疲劳状态参数，最终判断其是否出现疲劳，并进行输出；S7、将当前帧的疲劳状态输出，并将当前帧的识别结果作为后续帧的识别的预估位置，分别检测后续帧中的动作，实现对驾驶员异常行为的连续检测识别；若出现驾驶员异常行为，则触发报警信号。