[发明专利]基于安卓的多特征疲劳实时检测方法

权利要求书

1.基于安卓的多特征疲劳实时检测方法，其特征在于，包括以下步骤：

S1、输入视频图像并进行预处理：通过摄像头输入包含人脸的实时图像，对输入的每一帧图片进行格式转换和压缩，然后进行灰度化处理；

S2、进行人脸检测：调用opencv安卓版人脸检测函数detectMultiScale对S1得到的图像进行人脸检测，将人脸检测函数返回的人脸矩形框结果转换得到两个黑眼球的坐标位置；若人脸检测函数检测不到人脸，则继续检测下一帧图片；若连续多帧图片均检测不到人脸，则输出警报信息，提醒驾驶员正视前方；

S3、进行人眼对齐检测：根据S2得到的两个黑眼球的坐标位置扩展出一个包含人眼的矩形区域，然后进行人眼对齐检测；

S4、进行人脸对齐检测：采用基于形状参数回归算法进行人脸对齐检测；具体包括以下子步骤：

S41、根据眼睛对齐部分的精确黑眼球对齐的结果初始化平均人脸形状，得到相对准确的人脸形状；

S42、用训练的model2进行人脸形状迭代，得到精确对齐的人脸形状并返回对齐结果；

S43、返回的对齐结果精确的描述了人脸形状的坐标点信息，根据坐标点信息判断人脸状态：

首先判断人脸的朝向，设为特征F1：根据两眼睛黑眼球和嘴坐标相连的特征三角形，根据三角形形状得出人脸的姿态信息：根据黑眼球坐标连线与x轴的夹角判断头部的偏倚状态，根据嘴部中心点与黑眼球左右眼坐标的x轴距离判断脸的左右朝向；若人脸没有朝向左右，没有偏倚的动作，则判断人脸是正视前方的姿态，具备疲劳条件，否则应处于清醒状态；

然后根据连续几帧的鼻尖坐标点的变化，判断人头部的运动方向信息，设为特征F2：对连续5帧鼻尖坐标点的y轴两两相减，统计向量方向变化情况和向量长度变化，若头部连续向下或向上大幅度运动则判断为点头，若头部长时间做出点头的动作或基本无动作，则具备疲劳条件，否则处于清醒状态；

最后根据对齐嘴部的坐标点信息，分析人嘴部的张合状态，设为特征F3：直接用上下嘴唇内侧对齐坐标的y轴相减，得到嘴唇的张合度，判断人当前处于闭嘴、说话、咀嚼或打哈欠的状态，若出现连续的打哈欠或长时间处于闭合状态，则具备疲劳条件，否则处于清醒状态；

S5、疲劳状态判断：根据S3和/或S4的检测结果判断是否处于疲劳状态，若是则输出警报信息，否则不操作。

2.根据权利要求1所述的基于安卓的多特征疲劳实时检测方法，其特征在于，所述的步骤S1中的步骤格式转换方法为：把摄像头输入的YUV格式图片转换为bitmap格式。

3.根据权利要求1所述的基于安卓的多特征疲劳实时检测方法，其特征在于，所述的步骤S3中的人眼对齐检测具体实现方法为：先根据平均人脸形状初始化矩形区域的人眼形状，再用训练的model1进行人眼形状迭代，得到精确对齐的人眼形状并返回对齐结果；返回的对齐结果包含了人左右眼睛眼睑轮廓的坐标信息，根据眼睑轮廓的y轴坐标相减得到眼睛的睁闭状态，设为特征F0。

4.根据权利要求3所述的基于安卓的多特征疲劳实时检测方法，其特征在于，所述的model1为基于形状参数回归算法，用大量人眼形状图片训练生成的回归器；所述的人眼形状迭代包括人眼的平移、收缩和旋转变换。

5.根据权利要求1所述的基于安卓的多特征疲劳实时检测方法，其特征在于，所述的model2为基于形状参数回归算法，用大量简化后的人脸对齐形状图片训练生成的回归器，所述的人脸形状迭代包括人脸平移、收缩和旋转变换。

6.根据权利要求3所述的基于安卓的多特征疲劳实时检测方法，其特征在于，所述的步骤S5中疲劳状态包括以下判断标准：

疲劳特征条件具备F0∩F3或F0∩F3∩(F1∪F2)，即出现长时间的闭眼且嘴部出现连续的打哈欠或长时间处于闭合状态，头部的运动和面部朝向忽略；或者出现长时间的闭眼且嘴部出现连续的打哈欠或长时间处于闭合状态，并且出现人脸没有朝向左右没有偏倚的动作或头部长时间做出点头的动作或基本无动作；

疲劳特征条件具备F1∩F2∩F3，即出现嘴部连续打哈欠或长时间处于闭合状态且头部长时间做出点头的动作或基本无动作且面部向前；

疲劳特征条件具备F3中的连续打哈欠，判断为疲劳前期的表现；

当出现以上几种疲劳特征时，输出警报信息。