[发明专利]基于眼部区域生成网络的眨眼频率和视线估计方法

权利要求书

1.一种基于眼部区域生成网络的眨眼频率以及视线预估的方法，其特点是利用SSD目标检测方法，直接在驾驶过程中摄像头拍摄的驾驶员脸部特征图上回归出人眼与瞳孔两个目标的位置和类别信息，在卷积中加入faster rcnn中的anchor机制对每一层卷积层中的特征图进行卷积，进行比例扩大或缩小处理，再用边框回归对最后一层卷积层进行处理，最终得到人眼与瞳孔的目标外接矩形；

在得到人眼与瞳孔的目标外接矩形后，对此矩形进行椭圆拟合处理，得到人眼与瞳孔的拟合椭圆轮廓；视线没有发生偏离时瞳孔中心与眼睛质心趋于一致，当视线发生偏离时，瞳孔中心将会偏离眼睛质心一定范围；

然后训练大量视线偏离的样本，可得到视线偏离角度和偏离概率范围；

将以上训练好的偏离角度和偏离概率范围的网络阈值储存在计算机中，在后期识别中，直接输入在驾驶过程中摄像头拍摄的驾驶员脸部特征图片，通过训练得出的阈值范围快速在图片中定位瞳孔中心与眼睛质心的分布范围，完成驾驶员的视线预估；

驾驶员眨眼频率方面，对perclos算法进行改进，使其能根据一定时间内拟合椭圆面积值的大小判断眨眼频率，当拟合椭圆面积小于一定值时判断为眨眼，在某时间段内长时间小于某一特定范围时，判断为闭眼疲劳，或根据椭圆横纵轴上下坐标的接近值程度，判断是否为闭眼；

得到驾驶员眨眼频率以及驾驶员视线偏离角度和偏离概率范围，为驾驶员疲劳监测系统和驾驶员动态行为分析以及判断预警提供支持数据。

2.如权利要求1所述的基于眼部区域生成网络的眨眼频率以及视线预估的方法，其特征是，对外接矩形进行椭圆拟合处理的方法如下：

选取目标外接矩形的边界中心点相互连接打印椭圆，椭圆方程为其中a为目标外接矩形的长，b为目标外接矩形的宽，此时的椭圆可近似于眼睛轮廓，并且目标外接矩形的边界中心点交于一点，即为椭圆的圆心，圆心可近似于眼睛区域的质心，以同样的方法得到瞳孔的拟合椭圆的圆心，此圆心即为瞳孔中心。

3.如权利要求1所述的基于眼部区域生成网络的眨眼频率以及视线预估的方法，其特征是，

判断视线偏离角度：可根据瞳孔中心以及眼睛质心得出，将定位到的眼睛质心作为坐标原点，显示瞳孔中心坐标，假设瞳孔中心的坐标为X、Y，则视线偏离角度判断偏离概率范围：同时根据两只眼睛瞳孔中心相对于坐标原点落在第一、二、三、四象限的偏离范围，可判断驾驶员的视线为：左上、右上、右下、左下；根据坐标落在X、Y坐标轴上的偏离情况可判断驾驶员的视线为：向上、向下、向左、向右；判断时取并集，在第一象限，超出安全区域时，输出为(1,1)，判断视线向驾驶方向的右上偏离；在第二象限输出(-1,1)，判断视线向驾驶方向的左上偏离；在第三象限输出(-1,-1)，判断视线向驾驶方向的左下偏离；在第四象限输出(1,-1)，判断视线向驾驶方向的右下偏离；在坐标轴上输出为(0,1)、(0,-1)、(1,0)或(-1,0)，判断视线向驾驶方向的右方偏离、视线向驾驶方向的左方偏离、视线向驾驶方向的上方偏离、视线向驾驶方向的下方偏离；当两只眼睛有一只眼睛输出结果判断为偏离时，则判断驾驶员视线发生偏离。

4.如权利要求1所述的基于眼部区域生成网络的眨眼频率以及视线预估的方法，其特征是，驾驶员疲劳监测系统包括摄像头、微型计算机和电子显示屏，摄像头安装在驾驶舱正前方，微型计算机安装在驾驶舱内，微型计算机中拥有基于深度学习训练好的目标外接矩形的阈值、瞳孔的概率分布、眼眶的准确定位信息以及椭圆拟合及视线估计程序；电子显示屏可根据CPU提供的信号，显示驾驶员视线偏离的角度分布图、显示驾驶员疲劳警示灯、驾驶员视线发生偏离信号灯、驾驶员视线严重偏离警示灯，并有警示灯关闭选项；驾驶员可通过显示屏上的直观数据观测到自己驾驶过程中的失误情况：在间隔时间段内，若驾驶员根据指示灯相应提示做好调整，计算机识别结果显示视线正常，指示灯则会自行关闭；若驾驶员是由于某种特殊情况出现必要的偏头以及其它不利于驾驶的情况，可自行关闭提示灯。