[发明专利]3D自由头动式视线跟踪系统

权利要求书

1.一种3D自由头动式视线跟踪系统，其特征在于：具体是通过一个相机和两个近红外光源，以相机为原点，两个近红外光源分别为X轴、Y轴建立坐标系，通过相机获得眼睛图像，眼睛图像经处理后，确定瞳孔和耀点中心，然后在实际测量参数的辅助下进行3D模型处理，建立角膜3D中心坐标和瞳孔3D中心坐标，根据光学、几何函数关系计算出眼睛关注区域，其具体操作包括以下步骤：

步骤一：相机内参数的求取：通过摄像机定标方法获得相机的内参数；

步骤二：近红外光源位置微调：相机内参数确定后，调整近红外光源到特定位置；

步骤三：检测图像瞳孔中心：采集得到人眼图像后，利用瞳孔的图像特征求取瞳孔精确中心坐标；

步骤四：检测图像耀点中心：耀点是近红外光源经人眼角膜反射后在其表面上形成的亮斑，利用耀点的图像特征，计算图像中耀点精确中心坐标；

步骤五：确定光轴：光轴是由三维角膜中心和瞳孔中心两点确定的，具体操作为：

a、求取角膜曲率中心三维坐标：利用两个近红外光源的摆设位置，得到相应函数关系方程，联立步骤一、二、三中求取的已知信息，解出角膜中心三维坐标；

b、求取瞳孔中心三维坐标：在已知角膜中心坐标的前提下，利用光学和几何关系求得瞳孔中心三维坐标；

步骤六：确定视轴，得到凝视点坐标：视轴是视网膜中心区域凹点和瞳孔中心所确定的，或者由瞳孔中心和凝视目标点确定，是人真正的视线方向，利用最小二乘法找出光轴和视轴的转换关系，重构出视轴；

步骤七：跟踪凝视点的校正：利用上面五个步骤计算得到的视轴与屏幕相交得到观测者的凝视点坐标，利用误差向量加权的方法对凝视点坐标进行校正。

2.根据权利要求1所述的3D自由头动式视线跟踪系统，其特征在于：步骤一采用张征友平面模板法实现摄像机内参数标定，通过至少3个不同的位置获取标定物的图像，计算出摄像机的内参数。

3.根据权利要求1所述的3D自由头动式视线跟踪系统，其特征在于：步骤二近红外光源摆设的位置为：两个光源分别位于以镜头中心为原点的世界坐标系的X轴和Y轴上。

4.根据权利要求3所述的3D自由头动式视线跟踪系统，其特征在于：上述方法步骤二中近红外光源的调整过程为：

a、固定摆放摄像机和标定模板的位置，建立世界坐标系，具体为：镜头中心为坐标系原点O，光轴指向模板方向为Z轴，过坐标系原点的水平向右方向为X轴，垂直向上方向为Y轴；

b、以模板棋盘格的物理尺寸和步骤一中标定的摄像机内参数为已知参数，确定模板在世界坐标系中的位置；

c、以模板位置为参考调整近红外光源，把两个近红外光源分别调整到X轴和Y轴上的指定位置。

5.根据权利要求1所述的3D自由头动式视线跟踪系统，其特征在于：步骤三中图像瞳孔中心可以通过如下步骤确定：首先利用耀点在图像中灰度值变化最大的特点，确定人眼在图像中的大致窗口；然后采用OTSU分割方法确定瞳孔的粗略位置，最后在相对应的灰度图像中找到精确地瞳孔边缘点，椭圆拟合这些边缘点，得到精确的瞳孔中心坐标。

6.根据权利要求1所述的3D自由头动式视线跟踪系统，其特征在于：步骤四中图像耀点中心可以通过如下方法确定：对包含眼睛窗口的图像进行二值化分割，由于耀点的灰度值非常高，因而能分割出比较精确的耀点区域，提取耀点的边缘点，对这些边缘点进行椭圆拟合得到精确的耀点中心坐标。

7.根据权利要求1所述的3D自由头动式视线跟踪系统，其特征在于：步骤五中角膜中心的三维坐标确定方法为：以镜头中心为坐标系原点O，两个光源与原点的连线分别为X轴和Y轴，过原点O的XOY平面的垂线为Z轴，定义世界坐标系，确定角膜中心在此世界坐标系下的三维坐标，利用光线几何关系得到方程，求解方程算出角膜中心的三维坐标和瞳孔中心的三维坐标，计算得到光轴方程。

8.根据权利要求1所述的3D自由头动式视线跟踪系统，其特征在于：步骤六利用最小二乘法在预处理阶段计算得到光轴和视轴的关系转换矩阵，其具体过程为：光轴与视轴之间有一定的夹角，一般称为kappa角，这个kappa角大约为5°左右，求光轴和视轴之间的转换关系：当观测者关注屏幕上一个已知点S，从相机采集到的图像中求出角膜中心C和瞳孔中心P_c的三维坐标信息，利用转换矩阵对实时追踪阶段所得光轴进行重构得到视轴，利用视轴与屏幕点相交得到凝视点坐标。