[发明专利]一种基于虹膜投影匹配函数的三维视线估计方法

说明书

本发明公开了一种基于虹膜投影匹配函数的三维视线估计方法，该方法首先通过让使用者注视屏幕上的若干标定点计算人眼参数并建立人眼模型。接着，通过眼球旋转模型与虹膜投影匹配函数，定位出虹膜的空间位置以及朝向，从而得到三维光轴方向。最后，使用多项式矫正法对光轴进行矫正，计算出三维视轴方向。该方法使用深度摄像头进行三维视线估计，为自然环境下的三维视线跟踪提供了一种速度快、精度高、对头部运动鲁棒的解决方案。

技术领域

本发明涉及视线跟踪技术领域，具体为使用三维传感器的三维视线跟踪方法。

背景技术

视线跟踪技术是最重要的人机交互技术之一，在心理学分析、虚拟现实、医疗设备、辅助驾驶领域都有重要的应用前景。

视线跟踪方法主要分为接触式方法和非接触式方法。基于摄像的非接触式方法对用户更为友好，具有自然和直接的优势，是目前视线跟踪作为人机交互方式研究的主流方向。由于三维传感器技术的进步以及普及，使用三维传感器的三维视线跟踪算法由于其高精度、对头部运动鲁棒的特性逐渐成为视线跟踪主流算法。然而该类方法的主要难点在于1)精确定位出人眼三维中心；2)标定步骤简单，使用较少的标定点；3)如何对光轴进行矫正从而获得视轴

发明内容

有鉴于此，为解决上述现有技术中的问题，本发明提供了一种基于虹膜投影匹配函数的三维视线估计方法，该方法首先通过让使用者注视屏幕上的若干标定点计算人眼参数并建立人眼模型。接着，通过眼球旋转模型与虹膜投影匹配函数，定位出虹膜的空间位置以及朝向，从而得到三维光轴方向。最后，使用多项式矫正法对光轴进行矫正，计算出三维视轴方向。该方法使用一个深度摄像头进行三维视线估计，具有非侵入、速度快、精度高、对头部运动鲁棒的优点。

本发明通过以下技术方案来实现。

一种基于虹膜投影匹配函数三维视线估计方法，该方法使用一台深度摄像头，包含以下步骤：

步骤1、眼球模型使用者参数校准，使用者注视屏幕上若干个标定点，深度摄像头采集彩色帧与深度帧，利用彩色信息与深度信息计算出使用者的虹膜半径与注视标定点时光轴到视轴的偏差信息；

步骤2、眼球模型旋转半径与初始位置校准，使用者注视屏幕上若干个标定点，利用这几个标定点以及步骤1的标定点计算出眼球模型的旋转半径与初始的中心三维坐标；

步骤3、光轴估计，利用步骤1、步骤2计算出的眼球模型以及眼球模型初始的初始中心三维坐标，结合头部姿态估计，计算出当前帧的人眼三维中心坐标，利用虹膜投影匹配函数计算出空间中虹膜的位置以及朝向，从而得到光轴；

步骤4、视轴估计，利用多项式光轴矫正法，建立多项式光轴矫正模型，使用多项式拟合出光轴与视轴之间的偏差，并对光轴进行矫正，估计出视轴。

进一步地，所述步骤1中包括：

步骤11、使用虹膜边缘检测算法与椭圆拟合获得彩色图像上虹膜像素点，根据虹膜像素点查找虹膜像素点对应的三维位置，获得一系列虹膜的三维点，利用主成份分析(PCA)算法将这些三维点降至二维，拟合这些二维点，从而得到虹膜，再计算使用者虹膜半径；

步骤12、对虹膜三维点求平均值，获得人眼三维中心位置，连接人眼虹膜三维中心与屏幕上的标定点，该连线即为视轴，利用步骤11中获得的虹膜二维平面的法向量作为光轴，计算光轴与视轴之间的夹角，获得使用者的kappa角度数。

进一步地，所述步骤2中包括：

步骤21、使用团块检测在彩色图像上对虹膜进行初定位，并获取初定位的虹膜中心三维位置；

步骤22、连接虹膜中心三维位置与屏幕上的标定点，作为视轴，利用步骤1中获取的kappa角大小与光轴绕视轴的旋转角λ进行矫正，矫正后的视轴即为光轴；