[发明专利]一种多特征融合驾驶员异常表情识别方法

说明书

本发明公开了一种多特征融合驾驶员异常表情识别方法，该方法包括：S1、通过安装在驾驶员侧的摄像头对驾驶员的表情动作进行实时跟踪监测；S2、对实时驾驶员视频中的表情细节进行精确识别；S3、检测眼睛位置，判断其是否疲劳；S4、定位嘴部边缘轮廓，判断其是否出现哈欠动作；S5、检测头部动作，判断是否出现疲劳；S6、对眼睛状态、嘴部状态、头部运动状态的检测结果进行加权，最终判断其是否出现疲劳，并进行输出；S7、结合当前帧的识别结果作为后续帧的识别的预估位置，分别检测后续帧中的动作，实现对驾驶员异常行为的连续检测识别。本发明可以实时监测并进行报警触发，对对驾驶员进行警示提醒，防止出现交通事故，保证行车过程中的安全。

技术领域

本发明涉及疲劳检测、人机交互及视频图像模式识别领域，尤其涉及一种多特征融合驾驶员异常表情识别方法。

背景技术

现代社会道路交通日益繁荣，随之而来的交通事故呈现多发的趋势，在交通事故中疲劳驾驶是一个重要的诱因，如何对司机的疲劳驾驶进行有效的跟踪个报警，是减少交通事故发生的一个重要措施。其中基于计算机视觉监控的司机驾驶异常行为检测是一个新的研究热点和方向，Novidia推出了AI Co-Pilot辅助驾驶系统，使用车载摄像头获取驾驶员图像视频，结合人工智能算法，对驾驶员进行人脸识别、头部追踪、眼球运动跟踪，还可以对驾驶员的唇语进行识读，在头部出现较快速的转动偏转时会出现跟踪丢失；百度推出的疲劳驾驶监测系统，将视频信息通过4G网络上传到百度大脑云服务进行识别处理。在车辆经过信号不良的路段，数据传输会出现延迟。发明201610835397.5使用对眨眼检测识别的方法进行疲劳监测，但是缺少对其他疲劳行为的识别，201610104142.1公开一种使用脑电波识别驾驶员疲劳行为的方法，但是需要进行设备佩戴，在实际应用中不便于应用。

从目前的疲劳驾驶检测技术来看，尽管取得了一定的应用，但是仍然存在许多不足。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种多特征融合驾驶员异常表情识别方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种多特征融合驾驶员异常表情识别方法，实现在复杂的交通场景下，使用车载摄像头对驾驶员进行实时跟踪识别，对其异常动作进行检测，并触发报警信号，该方法包括以下步骤：

S1、通过车载摄像头，对驾驶员进行实时检测，在视频中检测是否存在驾驶员人脸；如果存在，则对驾驶员人脸位置进行标识，作为进一步分析其表情细节的输入图像；

S2、在检测到的驾驶员人脸区域中，定位关键表情单元的位置，分别在驾驶员人脸框内定位其眼睛、嘴巴、头部、颈部位置，并分别进行表情区域截取，作为后续精确分析表情的基础；

S3、检测眼睛位置，使用眼睛状态分类器，识别眼睛的眨眼、睁眼动作，出现眨眼时，判断其眨眼的时长，作为判断其是否疲劳的依据；

S4、在嘴部区域，定位嘴部边缘轮廓，并识别嘴部的张合动作，将该动作与哈欠状态分类器进行匹配，判断其是否出现哈欠动作；

S5、对头部姿态进行定位，检测头部是否出现偏转、俯仰、摇摆的动作，并检测该动作出现的时长，作为其是否出现疲劳的依据；

S6、对眼睛状态、嘴部状态、头部运动状态的检测结果进行加权，分别计算其疲劳状态参数，最终判断其是否出现疲劳，并进行输出；

S7、将当前帧的疲劳状态输出，并将当前帧的识别结果作为后续帧的识别的预估位置，分别检测后续帧中的动作，实现对驾驶员异常行为的连续检测识别；若出现驾驶员异常行为，则触发报警信号。

进一步地，本发明的步骤S1的具体方法为：