[发明专利]一种基于视频分析的疲劳状态检测方法及装置

说明书

本发明公开了一种基于视频分析的疲劳状态检测方法及装置。其中，图像预处理模块负责对视频图像数据进行基于双边滤波方式的实时预处理；人脸及特征点检测模块负责通过引入多任务级联卷积神经网络实现人脸检测和关键点定位；眼睛和嘴巴区域提取模块负责通过特征点的位置信息对眼部和嘴部区域进行提取，从而实现对眼部和嘴部区域的定位；眼睛和嘴巴状态识别模块负责基于“Adaboost算法+Haar‑like特征”分别实现对眼睛和嘴巴状态识别的训练过程，以此实现对眼睛和嘴巴特定状态的识别；疲劳参数计算模块负责通过提取PERCLOS、眨眼频率、打哈欠三类参数，计算该人疲劳程度；疲劳状态判定模块负责基于上述疲劳参数以及预先设定的阈值，实现对疲劳状态的判定。

技术领域

本发明涉及疲劳检测领域，特别是涉及一种基于视频分析的疲劳状态综合检测方法及装置。

背景技术

疲劳状态检测技术在交通运输、生产安全、教育培训等许多领域应用广泛。目前，疲劳状态检测的方法一般可分为接触式和非接触式两大类。

其中，接触式疲劳状态检测包括脑电波检测等方法，即通过采集脑电图频率分布和波形数据，分析大脑活动状态，从而判断是否存在疲劳状况，此种方法通常需要引入复杂设备，成本较高，而且脑电图结果数据易受个体差异和外界干扰等因素的影响，因此实际应用效果存在限制。

非接触式疲劳状态检测则主要基于视频分析手段来进行，比如通过分析该人的头部姿势是否存在向下倾斜、眼睛闭合情况等；另外还可以结合具体应用场景考虑引入更多特定的检测手段，比如在开展驾驶员疲劳状态检测时，可通过结合对车辆行驶状态的监测来综合判定驾驶员的疲劳状况。

总体而言，当前的疲劳状态检测技术存在识别精度低、信号源单一、实用性能差等问题。另外，针对某些单一场景而专门设计的特定技术方法又存在通用性差的问题，不利于进一步推广，从而限制了自身的实际应用前景。

发明内容

为了克服上述现有技术的不足，本发明在于提供一种相对通用的、非接触式疲劳状态综合检测方法，其基本功能流程如附图1所示。

其中，图像预处理模块负责实时接收外部网络摄像头端发送而来的视频图像数据，通过调用OpenCV库中的bilateralFilter接口对其进行双边滤波式实时预处理，并将处理结果发送给人脸及特征点检测模块。

人脸及特征点检测模块负责通过引入多任务级联卷积神经网络(MTCNN)，利用3层级联架构配合卷积神经网络算法进行人脸检测和关键点定位。

眼睛和嘴巴区域提取模块通过眼部和嘴部周围特征点的位置信息来实现对眼部和嘴部区域的提取，从而实现对眼部和嘴部区域的定位。

眼睛和嘴巴状态识别模块负责基于“Adaboost算法+Haar-like特征”分别实现对眼睛和嘴巴状态识别的训练过程，以此实现对眼睛和嘴巴的特定状态的识别，例如闭合、张开等。

疲劳参数计算模块负责通过提取PERCLOS、眨眼频率、打哈欠等3类参数，计算该人的疲劳程度。

疲劳状态判定模块负责基于上述计算得出的疲劳参数，以及各自预先设定的阈值，实现对疲劳状态的判定。

与现有技术相比，本发明的有益效果是：本发明提供的是一种基于视频分析的非接触式疲劳状态综合检测方法，相对于现有技术，检测效果更佳、适用性更广。

附图说明

附图1为该方法的具体功能流程图。

附图2为PERCLOS参数计算示意图。

具体实施方式

下面结合附图对本发明进一步说明。