[发明专利]基于虹膜与瞳孔的用于头戴式设备的视线估计方法

摘要

本发明公开了基于虹膜与瞳孔的用于头戴式设备的视线估计方法，该方法只利用单摄像头和单红外光源以及屏幕四个平均区域内均具有的中心标定点，通过提取的眼动二维中心特征对瞳孔和虹膜进行三维空间建模，建立三维视线方向向量并结合视线方向角度信息，从而估计人眼注视点的位置。本发明充分考虑了头戴式设备应用的特点，在保证头戴式设备下注视点估计精度的同时，极大地减小了系统整体结构和标定过程的复杂度，为头戴式设备下的视线跟踪提供了一种精度高、复杂度低的解决方法。

主权项

1.基于虹膜与瞳孔的用于头戴式设备的视线估计方法，该方法只需要单摄像头和单红外光源以及屏幕四个平均区域内均具有的中心标定点，其特征在于包括如下步骤:（1）眼动特征提取：头戴式设备中人眼距离屏幕以及摄像头较近，对摄像头捕获的近红外光下的人眼图像，采用先获取眼动特征轮廓再定位眼动特征中心的思路，对于分割的瞳孔和虹膜特征区域，利用边缘检测、椭圆拟合算法获取瞳孔和虹膜的二维中心参数；具体包括：具体包括：a. 对于输入的人眼图像，采用模板匹配算法对右眼区域进行初定位；b.对于瞳孔中心特征提取部分，首先采用OTSU算法结合直方图峰值搜索阈值补偿算法实现对瞳孔区域的自动分割，并采用最大连通区域搜索算法消除瞳孔二值图像上的噪声团块，利用Sobel边缘检测获得瞳孔边缘，最后通过RANSAC椭圆拟合算法获取瞳孔中心参数信息；c. 对于虹膜中心特征提取部分，以瞳孔特征提取中心作为ROI区域的中心确定虹膜感兴趣区域，利用数字形态学结合直方图迭代算法获取虹膜二值图像，由于虹膜的上下边缘较易受到眼睑和睫毛的遮挡，因此利用Sobel垂直边缘检测获取虹膜垂直边缘信息后，通过椭圆拟合获得虹膜中心参数信息；（2）眼动特征三维空间建模：人眼与屏幕以及摄像机的相对位置和距离始终保持不变，同时瞳孔和虹膜并不位于同一平面且虹膜位于瞳孔前方；根据图像像素坐标系到摄像机坐标系的转换公式，将人眼观察屏幕四个区域内中心标定点时摄像机捕获的人眼二维图像信息与标定点位置信息相结合，对眼动特征向量进行三维空间建模得到三维视线映射模型，即获得人眼注视四个区域中心标定点时的瞳孔和虹膜三维中心坐标参数；具体包括：a.摄像机内参数标定，采用张正友平面标定法，利用固定位置的摄像头拍摄的不同角度和距离下的棋盘图像对摄像机的内参数进行标定，以获取物体二维图像坐标系到摄像机坐标系转换公式中的缩放因子参数信息；b.将注视屏幕分成大小相等的四个区域并在每个区域的中心设置一个标定点，将瞳孔二维中心坐标和已知的瞳孔深度信息值即瞳孔三维中心到摄像机光心的距离代入到步骤a所述的公式中，获得瞳孔三维坐标参数；c.根据人眼视线方向下虹膜平面以及视线在屏幕投影后的几何相似性，利用屏幕标定点坐标和步骤b获取的瞳孔三维坐标计算虹膜深度信息值，再将虹膜二维中心坐标和虹膜深度信息值代入到步骤a所述的公式中，获得虹膜三维坐标参数；（3）注视点位置估计：当人眼注视屏幕上任意一点时，将二维人眼图像中提取的瞳孔以及虹膜中心参数与四个标定点的二维中心相比较以定位人眼注视区域，利用已经建立的三维视线映射模型计算此注视区域内瞳孔中心和虹膜中心的三维坐标，获取瞳孔－虹膜三维视线方向向量，结合视线估计角度信息以获得最终人眼注视点的位置。