[发明专利]一种瞳孔-普尔钦斑视线跟踪与注视提取方法

权利要求书

1.一种瞳孔-普尔钦斑视线跟踪与注视提取方法，其特征在于，包括以下步骤：

(1)眼部图像获取与阈值处理：通过基于Haar-Adaboost的面部识别、ASM识别以及Haar眼部区域识别技术，能够实现眼部区域特征的识别与跟踪，并将眼部区域的图像从宽视野摄像机拍摄图像中截取出来；获取眼部区域图像后，通过阈值法进行二值化处理，利用式1，p(x,y)为二值图像像素值，f(x,y)为原图像灰度值，Threshold为阈值；

在合理的阈值下，瞳孔区域会与背景完全脱离开，在另一组阈值下，普尔钦斑也会与背景分离，经过阈值处理后，眼部区域图像普尔钦斑以及瞳孔的特征更为简单，能够对瞳孔进行圆拟合处理获取中心点；阈值处理需要每次使用时根据光照情况进行调试；

(2)瞳孔中心与普尔钦斑识别：

(2.1)瞳孔中心定位

获得瞳孔图像后，需要找到瞳孔的中心位置，瞳孔中心是瞳孔的圆心；采用霍夫变换(Hough)检测圆，从而获得瞳孔的圆心；

(2.2)Blob普尔钦斑识别：

采用Blob算法实现斑点识别；算法首先对原图像进行高斯模糊和拉普拉斯处理，利用LOG算子模板对图像卷积实现，利用式5，处理后的图像斑点区域灰度值会比较高；将这些高灰度值区域进行连通计算能够获得连通区域的半径和中心；

由于普尔钦斑图像已经经过了阈值处理，能够识别出四个亮斑，每个斑点数据包含中心点和斑点半径信息；将识别出的斑点与瞳孔距离进行比较，过滤掉远离瞳孔区域的点；

(3)基于透视法的视线估计

使用四个光源系统，该系统中四个红外光源分别置于屏幕四个角，在眼球形成的普尔钦斑图像连起来为一个四边形；

四光源普尔钦斑视线估计

1)数据预处理

设四光源在屏幕中位置分别对应四个点左上角p₁(u₁,v₁)、左下角p₂(u₂,v₂)、右上角p₃(u₃,v₃)、右下角p₄(u₄,v₄)、瞳孔中心坐标为p_q(u_q,v_q)，半径为r；宽视野图像中，眼球位置变化会引起四光源普尔钦斑四边形变化，其中有两个类型的变化：尺寸变化和形状变化；

设l_ij为眼球图像中p_ip_j两点之间的像素长度；则尺寸系数Cs利用式6,为根号下普尔钦斑四边形面积分之1；普尔钦斑坐标和瞳孔中心坐标乘以尺寸系数后，将瞳孔坐标与普尔钦斑坐标进行尺寸缩放，缩放后的坐标为瞳孔普尔钦斑与普尔钦斑点阵四边形相对坐标，消除了用户远离或者靠近摄像机引起的普尔钦斑点阵尺度变化影响；最后以一个普尔钦斑点为参考原点平移坐标系，将左小角点为参考原点，获得瞳孔中心的相对坐标P_q(x_q,y_q)；

设L_ij为p_ip_j两点之间的直线，则L₁₂与L₃₄为一组，夹角为θa；L₁₃与L₂₄为一组，夹角为θb，则利用式7所示，θb也同理得：

预处理后的数据构成一个状态向量T_eye，利用式8；视线估计则基于该向量为数据基础，通过系统标定以及机器学习实现视线的估计；

T_eye＝[x_q,y_q,r,Cs,θa,θb] (式8)

2)非线性多项式直接拟合

如果为穿戴式设备或者使用窄视野的摄像机，头部位置相对固定，此时对四光源系统能够忽略头部运动的影响；直接使用瞳孔中心相对位置坐标P_q(x_q,y_q)进行视线估计；设靶屏幕坐标St(U,V)，提取靶平面坐标，其视线估计能够用多项式来拟合视线，利用式9所示：

其中通过系统标定来确定多项式中a,b,c,d,e,f,g,h的参数值；系统标定通过使用者注视靶平面采样，然后解求估计出这8个参数的值，使用者根据系统提示注视靶平面对应的点并采集原始的瞳孔中心相对坐标数据，采集多组数据后则能够直接解出视线估计多项式；

设采样数据为S_i(U_i,V_i,x_i,y_i)，其中：UV为靶平面点归一化坐标，屏幕一个1×1的平面，定义靶平面中心点的靶平面坐标为(0.5,0.5)；xy是注视对应靶平面点时的瞳孔中心相对位置坐标；根据靶平面图示，在图中采样7个点，分别为左上S₁，左下S₂，右上S₃，右下S₄，中上S₅，中下S₆，中心S_c；

首先对瞳孔中心相对坐标根据靶平面坐标中心点样本进行坐标系变换，当注视靶平面中点时，定义此时的瞳孔中心相对坐标为(0,0)；利用式10，之后对于测量出来的所有瞳孔中心相对坐标进行同样变换；

根据拟合多项式可知进行如下变换后d和h两参数均为0.5，通过三个定标点求出其他6个参数的值；设以S₅，S₂，S₄为一组；则有式11和式12，根据两个方程组分别求解最终求得参数的值；

根据该多项式进行视线估计并通过实验记录数据，能获得视线注视统计数据，其中使用者分别注视屏幕的左上角，中点和右下角。