[发明专利]基于微表情的驾驶员疲劳驾驶状态检测方法

权利要求书

1.基于微表情的驾驶员疲劳驾驶状态检测方法，其特征是，包括：

在驾驶员进入深度疲劳状态之前，利用微表情与图像处理，通过识别驾驶员在浅度疲劳状态下出现的微表情，预警驾驶员的疲劳状态或是否有驾驶疲劳的倾向；

步骤(1)：首先进行驾驶员面部表情图像的采集：使用安装在汽车后视镜上的高速红外摄像头采集驾驶员驾驶过程中的面部表情视频，从而得到驾驶员的面部表情图像；

步骤(2)：图像预处理，采用线性变换将面部表情图像转换为灰度图像，并进行灰度图像的直方图均衡化；

线性变换，其定义为：

其功能是将函数灰度值f(x,y)的范围从[m,M]变为[n,N]；

对数变换的表达式为：

g(x,y)＝clog[f(x,y)+1]

其中c为变换系数；

直方图均衡化的具体实现算法如下，

设L为图像灰度级的数目，计算原始图像的灰度级r_k，k＝0,1,2,...,L－1；计算原始图像每个灰度级的像素个数n_k，图像中总的像素数目为N；统计图像中各灰度级出现的频率P_r(r_k)＝n_k/N；计算原始图像的累计直方图s_k；计算新的量化等级t_k；确定图像直方图变化前后的映射关系s_k→t_k；统计图像映射后各灰度级像素的个数n_k；计算图像映射后灰度分布P_t(t_k)＝n_k/N；用计算得出的映射关系修改原始图像的灰度级，就能得到直方图近似均匀分布；

步骤(3)：定位人脸区域，并对人的眼部区域、嘴巴区域和眉毛区域定位，进行人脸区域图像的分割提取，对分割提取的图像进行尺寸上的均一化；

使用Adaboost-Haar算法定位人眼区域，确定人眼质心的位置，两眼质心连线的中点记为O，两眼质心之间的距离记为d，以O为基准，水平方向左右分别取d、垂直向下取1.5d、向上取0.55d，对矩形区域进行裁剪；

使用Adaboost-Haar算法定位人眼，Adaboost-Haar算法为：

假设输入数据集D＝{(x₁,y₁),(x₂,y₂),...,(x_i,y_i)}，其中x_i为样本数据、y_i为样本属性；设初始化样本权重为ω_i，负样本的数量为m、正样本的数量为l；当y_i＝0时样本为负，ω_i＝1/m；当y_i＝1时样本为正，ω_i＝1/l；

学习的循环次数设为T，当t＝1,2,...,T时，分别进行学习；

步骤(31)：权重归一化：

步骤(32)：对每个特征j，训练一个弱分类器h_j，计算所有特征的加权错误率ε_f：

ε_f＝∑_iω_i|h_j(x_i)-y_i|

步骤(33)：从步骤(32)确定的弱分类器中找出一个具有最小ε_t的弱分类器h_t，更新每个样本对应的权重：

如果样本x_i被正确分类，则e_i＝0，否则e_i＝1，而最终形成强分类器为：

其中，

根据正、负样本构造特征集，如果弱分类器对样本分类正确，则样本的权重减小；如果弱分类器对样本分类错误，则样本的权重增加；分类器加强对错分样本的训练，最后将所有弱分类器形成强分类器；

步骤(4)：提取驾驶员眼睛区域的纹理特征、嘴巴区域的纹理特征和眉毛区域的纹理特征；对眼睛区域的纹理特征、嘴巴区域的纹理特征和眉毛区域的纹理特征进行特征融合作为面部纹理特征；使用基于灰度共生矩阵的纹理特征提取方法，提取纹理特征；

在图像中取任意一点(x,y)及偏离它的另一点(x+a,y+b)，两点构成点对，设该点对的灰度值为(g₁,g₂)，图像的最大灰度级数记为k，则(g₁,g₂)的组合共有k²种；

统计出每一种(g₁,g₂)出现的次数，组成一个矩阵，再用(g₁,g₂)出现的总次数将其归一化为出现的概率ρ(g₁,g₂)，并构成新的矩阵，新矩阵即为灰度共生矩阵；

距离差分值(a,b)取不同的数值组合，得到不同情况下的联合概率矩阵：

当a＝1、b＝0时，像素对是水平的，即0°扫描；

当a＝0、b＝1时，像素对是垂直的，即90°扫描；

当a＝1、b＝1时，像素对是右对角线的，即45°扫描；

当a＝﹣1、b＝﹣1时，像素对是左对角线，即135°扫描；

通过点对在不同距离差分值下出现的概率，将(x,y)的空间坐标转化为由ρ(g₁,g₂)构成的新矩阵，形成灰度共生矩阵；

对灰度共生矩阵进行归一化：

纹理特征提取，是利用图像的灰度共生矩阵，求取统计特征值：

纹理能量：

纹理惯性：

纹理相关性：

纹理熵：

其中，

建立四个方向上的灰度共生矩阵，对每个方向上的共生矩阵提取Q₁、Q₂、Q₃、Q₄的特征值，每种纹理包含16个特征向量；

步骤(5)：根据面部纹理微表情库中的疲劳状态微表情的面部纹理特征，使用最小距离分类法对驾驶员当前的面部纹理特征进行分类，以此识别驾驶员的微表情，依此判断是否进入浅度疲劳状态，若已进入浅度疲劳状态，继续判断驾驶员的微表情在设定时间范围内被检测为浅度疲劳状态的次数是否超过设定阈值，若超过设定阈值，则表示驾驶员具有进入深度疲劳状态的趋势，同时对驾驶员具有进入深度疲劳状态的趋势进行预警；

通过设计疲劳激发实验采集正常状态和疲劳状态下的人脸图像，识别对应微表情下人脸纹理，建立相对应的人脸纹理特征微表情库；通过最小距离判别函数，计算获得当前人脸纹理特征与微表情库中微表情的人脸纹理特征之间的向量距离，以此判断驾驶员的微表情；

如果当前面部纹理特征与面部纹理微表情库中任一疲劳状态微表情面部纹理特征的距离均大于设定阈值，则表示驾驶员未进入浅度疲劳状态；否则，表示驾驶员进入浅度疲劳状态，预警提示；

所述步骤(5)还包括建立面部纹理特征微表情库，是指：通过疲劳实验采集正常状态和疲劳状态下的人脸图像，对人脸区域图像进行分割，并识别出眼睛区域、眉毛区域和嘴巴区域，分别识别人脸图像的眼睛区域纹理特征、眉毛区域纹理特征和嘴巴区域的纹理特征，对眼睛区域纹理特征、眉毛区域纹理特征和嘴巴区域的纹理特征进行融合得到面部纹理特征，记录正常状态和疲劳状态微表情的面部纹理特征，构建面部纹理特征微表情库；

在驾驶员处于浅度驾驶疲劳状态时，其微表情会出现眼睛张合度减小、眼睑下垂、瞳孔放大、两外侧眉角下垂、嘴角下垂且略有向内收缩特征，获得的面部图像上也会因此出现相对应的纹理特征；通过设计疲劳激发实验采集正常状态和疲劳状态下的人脸图像，识别对应微表情下人脸纹理，建立相对应的人脸纹理特征微表情库；通过最小距离判别函数，计算获得当前人脸纹理特征与微表情库中微表情的人脸纹理特征之间的向量距离，以此判断驾驶员的微表情；如果驾驶员的微表情在设定时间范围内被检测为浅度疲劳的次数超过设定阈值，则对驾驶员进入深度疲劳状态的趋势进行预警。