[发明专利]基于眼部区域生成网络的眨眼频率和视线估计方法

说明书

本发明公开了一种基于眼部区域生成网络的眨眼频率以及视线预估的方法，该方法可用于驾驶员疲劳驾驶预警。具体为：首先应用机器深度学习提取到摄像头拍摄的驾驶员的人眼特征区域，在特征区域上以椭圆拟合的方法进行驾驶人人眼模拟，结合perclos(眼睑闭合度)来判断眨眼频率和瞳孔位置估算方法给出眨眼频率和驾驶员视线方向，为驾驶员疲劳监测系统和驾驶员动态行为分析提供支持数据。

技术领域

本发明属于汽车安全领域，涉及一种对驾驶员的眨眼频率和视线估计的方法，该方法可用于驾驶员疲劳驾驶预警。

背景技术

目前，疲劳驾驶导致交通事故仍占据主要成分，因此，对驾驶员在驾驶疲劳状态下的成功预警成为了人们越来越关注的问题。这也使得多数研究人员针对这一问题提出了许多有效的辅助措施，图像处理技术的发展，以及人脸特征的提取都为驾驶员疲劳预警方法的研究提供了理论基础，但仍处于发展不成熟时期。例如：

由于目标可能出现在图像的任何位置，而且目标的大小、长宽比例也不确定。在传统目标检测的过程中，采用滑动窗口的策略对整幅图像进行遍历，而且需要设置不同的尺度，不同的长宽，这使得复杂度太高，产生冗余窗口太多，时间也较长。这严重影响后续特征提取。在Region Proposal(候选区域)的深度学习目标检测算法中，对于候选区域的提取有了很大改善，但仍不能接近目标真实范围，其中处于发展中的R-CNN训练分为多个阶段，步骤繁琐，训练耗时，占用磁盘空间大，使用GPU,VGG16模型处理一张图像需要47s，处理速度慢，而改进版的SPP-NET、Fast R-CNN、Faster R-CNN、虽然在处理速度以及处理步骤上有所简化，但候选区域的提取耗时多，不能满足实时性的要求。

本申请所采用的的SSD检测方法相较于以上所提到的其它的检测方法可达到提取特征精度高，速度快的特点。SSD方法的核心就是预测目标归属类别的score(概率)；同时，在feature map(特征区域)上使用小的卷积核，去预测一系列bounding boxes(包围盒)。然后，对这些bounding boxes的形状进行微调，以使得其符合所测物体的外接矩形。具体来说，SSD检测方法能满足本发明以下几点要求：

1.在同一张图片上分类出不同目标属于每个类别的可能性。即能得出我们研究对象人脸图像上的瞳孔、眼睛、鼻子、眉毛等目标的所属概率，在本发明中只需要能准确分类出瞳孔和眼睛的所属类别。

2.在同一张图片上能对同一目标的不同尺寸进行识别以及处理。即在本发明中能对两只眼睛大小状态不一时的情况进行识别处理。

3.SSD在得到每一目标的包围盒后进行微调，可得到特征物的外接矩形，即在本发明中可得到瞳孔以及眼睛的外接矩形。

4.SSD检测能识别较小的特征物，精度高。每秒可以处理52张图像，检测速度快，能满足本发明实时性的要求。

发明内容

本发明的目的是提供一种基于眼部区域生成网络的眨眼频率以及视线预估的方法，为驾驶员疲劳监测系统和驾驶员动态行为分析提供支持数据。

本发明的技术方案是：一种基于眼部区域生成网络的眨眼频率以及视线预估的方法，其特点是利用SSD目标检测方法，直接在驾驶过程中摄像头拍摄的驾驶员脸部特征图上回归出我们所需要的人眼与瞳孔两个目标的位置和类别信息，在卷积中加入faster rcnn中的anchor机制对每一层卷积层中的特征图进行卷积，进行比例扩大或缩小处理，再用边框回归对最后一层卷积层进行处理，最终得到人眼与瞳孔的目标外接矩形；

在得到人眼与瞳孔的目标外接矩形后，对此矩形进行椭圆拟合处理，得到人眼与瞳孔的拟合椭圆轮廓；视线没有发生偏离时瞳孔中心与眼睛质心趋于一致，当视线发生偏离时，瞳孔中心将会偏离眼睛质心一定范围，利用此种方法进行程序编写；

然后训练大量视线偏离的样本，可得到视线偏离角度和偏离概率范围；