[发明专利]3D自由头动式视线跟踪系统

说明书

技术领域

本发明中的视线跟踪算法属于图像处理和模式识别技术领域，涉及一种基于单相机的3D自由头动式视线跟踪系统，可应用于视觉注意机制的研究、广告分析、网页设计、残疾病人的辅助设备和心理分析，同时还可以作为一种新的计算机交互设备。

背景技术

人眼视线的实时跟踪在很多领域都有非常重要的应用。视线跟踪系统按照硬件构成可以分为头戴式和非接触式两种式。头戴式视线跟踪技术需要用户穿戴一些特殊器具，使用不方便；非接触式一般采用基于视频图像处理的方法，通过分析相机采集到的人眼图像判断出视线方向，这类系统不对用户产生干扰，使用方便。

经对现有技术文献检索发现，国内的非接触式视线跟踪系统主要采用如下两类技术：一类是基于瞳孔角膜反射(Pupil-Corneal Reflection，P_CR)的2D视线跟踪技术；另一类是基于眼球模型的3D视线跟踪技术。第一类视线跟踪系统从相机采集得到的图像中提取出瞳孔中心和耀点中心，构成一个瞳孔耀点向量，通过预处理得到瞳孔耀点向量与屏幕间的对应映射关系，利用函数映射关系实时地求取人眼关注的区域。这类系统优点是成本比较低，只需一个相机和一个LED光源；缺点是使用阶段如果观测者头部位置发生了变化，原始位置预处理得到的映射函数将不再适用，跟踪精度就会急剧下降，因此必须要求观测者头部位置保持严格固定，这样就给观测者带来了极大的不便。第二类基于3D眼球模型的视线跟踪系统根据采用的相机和光源数量的不同，具体实现细节也大不相同。有的视线跟踪系统采用两个摄像机和两个光源，得到同一眼睛的两幅不同图像，采用重构算法求出耀点及瞳孔中心的三维信息，重构出光轴。还有些3D视线跟踪系统通过一些其他辅助设备(如超声技术、激光测距仪等)来定位头部位置。这类系统虽然允许头部自由移动，但是由于使用了多个相机或者一些其他辅助设备，增加了成本，使用起来也很不方便。

发明内容

本发明的目的是，针对现有技术的上述不足，提供一种基于单相机的3D自由头动式视线跟踪系统，它属于3D视线跟踪系统，即克服了传统2D视线跟踪系统头部不能自由移动的限制，与其他3D视线跟踪系统相比，它仅采用一个相机两个LED光源就能确定角膜中心和瞳孔中心的精确三维坐标，大大降低了实现成本。

为了达到上述设计目的，本发明采用的技术方案如下：

一种基于单相机的3D自由头动式视线跟踪系统，具体是通过一个相机和两个近红外光源，以相机为原点，两个近红外光源分别为X轴、Y轴建立坐标系，通过相机获得眼睛图像，眼睛图像经处理后，确定瞳孔和耀点中心，然后在实际测量参数的辅助下进行3D模型处理，建立角膜3D中心坐标和瞳孔3D中心坐标，根据光学、几何函数关系计算出眼睛关注区域，其具体操作包括以下步骤：

步骤一：相机内参数的求取：通过摄像机定标方法获得相机的内参数；

步骤二：近红外光源位置微调：相机内参数确定后，调整近红外光源到特定位置；

步骤三：检测图像瞳孔中心：采集得到人眼图像后，利用瞳孔的图像特征求取瞳孔精确中心坐标；

步骤四：检测图像耀点中心：耀点是近红外光源经人眼角膜反射后在其表面上形成的亮斑，利用耀点的图像特征，计算图像中耀点精确中心坐标；

步骤五：确定光轴：光轴是由三维角膜中心和瞳孔中心两点确定的，具体操作为：

a、求取角膜曲率中心三维坐标：利用两个近红外光源的摆设位置，得到相应函数关系方程，联立步骤一、二、三中求取的已知信息，解出角膜中心三维坐标；

b、求取瞳孔中心三维坐标：在已知角膜中心坐标的前提下，利用光学和几何关系求得瞳孔中心三维坐标；

步骤六：确定视轴，得到凝视点坐标：视轴是视网膜中心区域凹点和瞳孔中心所确定的，或者由瞳孔中心和凝视目标点确定，是人真正的视线方向，利用最小二乘法找出光轴和视轴的转换关系，重构出视轴；

步骤七：跟踪凝视点的校正：利用上面五个步骤计算得到的视轴与屏幕相交得到观测者的凝视点坐标，利用误差向量加权的方法对凝视点坐标进行校正。

步骤一采用张征友平面模板法实现摄像机内参数标定，通过至少3个不同的位置获取标定物的图像，计算出摄像机的内参数。

步骤二近红外光源摆设的位置为：两个光源分别位于以镜头中心为原点的世界坐标系的X轴和Y轴上。

上述方法步骤二中近红外光源的调整过程为：

a、固定摆放摄像机和标定模板的位置，建立世界坐标系，具体为：镜头中心为坐标系原点O，光轴指向模板方向为Z轴，过坐标系原点的水平向右方向为X轴，垂直向上方向为Y轴；