[发明专利]一种基于虹膜投影匹配函数的三维视线估计方法

权利要求书

1.一种基于虹膜投影匹配函数三维视线估计方法，该方法使用一台深度摄像头，其特征在于包含以下步骤：

步骤1、眼球模型使用者参数校准，使用者注视屏幕上若干个标定点，深度摄像头采集彩色帧与深度帧，利用彩色信息与深度信息计算出使用者的虹膜半径与注视标定点时光轴到视轴的偏差信息；

步骤2、眼球模型旋转半径与初始位置校准，使用者注视屏幕上若干个标定点，利用这若干个标定点以及步骤1中的标定点计算出眼球模型的旋转半径与初始的中心三维坐标；具体包括：

步骤21、使用团块检测在彩色图像上对虹膜进行初定位，并获取初定位的虹膜中心三维位置；

步骤22、连接虹膜中心三维位置与屏幕上的标定点，作为视轴，利用步骤1中获取的kappa角大小与光轴绕视轴的旋转角λ进行矫正，矫正后的视轴即为光轴；

步骤23、利用初定位的虹膜中心三维位置附近的某一三维点(x，y，z)，与步骤22中获取的光轴，以及步骤1中获取的虹膜半径，建立虚拟的三维虹膜；

步骤24、利用虹膜投影匹配函数计算虚拟三维虹膜在成像平面上投影与RGB虹膜图像的匹配度，所述虹膜投影匹配函数首先计算虚拟三维虹膜在成像平面上的投影，之后分别计算虹膜投影内像素点与RGB虹膜图像的匹配度以及虹膜边缘像素点与RGB虹膜图像的匹配度，从而获得三维虚拟虹膜与RGB虹膜图像的匹配度；

步骤25、利用粒子群优化算法搜索旋转角γ与虹膜三维位置(x，y，z)，寻找虹膜投影匹配函数的最优解，获得最佳的虹膜三维中心位置以及对应的光轴；

步骤26、利用4个标定点，总共可以获得4条光轴，由于4条光轴在实践中没有交点，所以通过以下算法计算旋转半径与三维初始人眼中心：

以人眼平均半径为初始值，利用梯度下降法计算旋转半径的值：对于一个旋转半径的候选值，利用三维虹膜中心以及其对应的光轴，便能求出这条光轴以及虹膜中心对应的人眼旋转中心；以每条光轴所对应的三维人眼中心之间的距离作为损失函数，使用梯度下降法，最优化旋转半径，使得每条光轴所对应的三维人眼中心之间的距离最近，以此获得人眼旋转半径；计算每一条光轴对应的人眼中心，对这些人眼中心点求平均值，获得初始三维人眼中心位置；

步骤3、光轴估计，利用步骤1、步骤2计算出的眼球模型以及眼球模型初始的初始中心三维坐标，结合头部姿态估计，计算出当前帧的人眼三维中心坐标，利用虹膜投影匹配函数计算出空间中虹膜的位置以及朝向，从而得到光轴；

步骤4、视轴估计，利用多项式光轴矫正法，建立多项式光轴矫正模型，使用多项式拟合出光轴与视轴之间的偏差，并对光轴进行矫正，估计出视轴。

2.根据权利要求1所述的一种基于虹膜投影匹配函数三维视线估计方法，其特征在于所述步骤1中包括：

步骤11、使用虹膜边缘检测算法与椭圆拟合获得彩色图像上虹膜像素点，根据虹膜像素点查找虹膜像素点对应的三维位置，获得一系列虹膜的三维点，利用主成份分析(PCA)算法将这些三维点降至二维，拟合这些二维点，从而得到虹膜，再计算使用者虹膜半径；

步骤12、对虹膜三维点求平均值，获得人眼三维中心位置，连接人眼虹膜三维中心与屏幕上的标定点，该连线即为视轴，利用步骤11中获得的虹膜二维平面的法向量作为光轴，计算光轴与视轴之间的夹角，获得使用者的kappa角度数。

3.根据权利要求1所述的一种基于虹膜投影匹配函数三维视线估计方法，其特征在于所述步骤3中包括：

步骤31、使用头部姿态估计算法对初始人眼三维坐标进行矫正，利用矫正后的人眼三维坐标，人眼旋转半径，建立眼球模型，该模型旋转中心到虹膜中心的射线为该模型的光轴；

步骤32、旋转眼球模型，设绕Y轴的旋转角为绕X轴的旋转角为θ，计算旋转后眼球模型的虹膜到成像平面上的投影，计算眼球模型的虹膜在成像平面上的投影与RGB虹膜图像的匹配度；

步骤33、使用粒子群优化算法获得能够使匹配度最优的旋转角与θ，利用和θ可以计算出眼球模型的朝向并获得光轴方向。

4.根据权利要求1所述的一种基于虹膜投影匹配函数三维视线估计方法，其特征在于所述步骤4中包括：

步骤41、利用建立的眼球模型，分别计算4个标定点的输入彩色图像的最优投影时的光轴与坐标系之间的夹角即kappa角，记录下眼球模型的视轴与光轴的偏差；偏差分为两个部分，第一个部分为kappa角的大小，第二个部分为视轴以光轴为转轴的旋转角度；

步骤42、利用多项式，建立多项式光轴矫正模型，对四组夹角以及光轴到视轴的偏差进行拟合，当从一张新图像获得光轴时，计算光轴与坐标系的夹角，将夹角带入多项式得到光轴与视轴的偏差，利用该拟合的偏差对光轴进行矫正得到视轴。