[发明专利]用于高分辨率视线跟踪的系统和方法

说明书

关于联邦政府资助的研究和开发的声明

在本发明中，美国政府可能具有付费许可，并可能具有在有限情况下，以合理条款要求专利权人许可他人的权利，如关于美国国防部(美国陆军)合同号W81XWH-05-C-0045、美国国防部国会研究倡议号W81XWH-06-2-0037、W81XWH-09-2-0141和W81XWH-11-2-0156以及美国运输部国会研究计划倡议协议奖No.DTNH 22-05-H-01424所提供的条款。

技术领域

本发明涉及用于产生精确视线跟踪的设备、系统和方法，其使用不易察觉的眼镜或头戴装置以用于眼睛监测和/或控制应用。

背景技术

本文的系统和方法利用机器视觉技术跟踪正被观察者观看的位置和/或物体。传统地，视线跟踪算法已经被认为需要两个连续的数据流，以产生跟踪结果：1)在我们三维世界内定位头部的位置和方向的头部跟踪方法，以及2)眼睛跟踪方法，其沿着瞳孔的边缘以及眼睛表面上的其他可识别参考点检测照明源产生的闪光(glint)，以计算眼睛相对于这些闪光的摆角和观看方向。为进行精确视线跟踪，使用不易察觉的眼镜或头戴装置，连续监测该装置的位置(相对于眼睛表面)(所述装置自身包括固定到该装置的所有摄像机和照明源)，是解释头部解剖的个体变异以及使用期间眼镜或头戴装置的少量运动的额外输入。

涉及机器视觉的应用正变得越来越普遍。在某种程度上，这是由于电子和软件开发产业技术进步以及摄像机、信息处理单元和其他电子组件成本降低的结果。尤其是，视线跟踪正越来越多地用于若干诊断、人类行为和控制应用中。少量的示例包括监测个人疲劳程度、评估驾驶员或飞行员意识、评估药物或酒精的影响、诊断创伤后的应激障碍、跟踪人类不同年龄的行为、确定性能训练或锻炼的效果、通过测量眼部停留时间而评估电视广告或网页设计的效果、放大或改变被观察具体对象或图像(包括词语和句子)的亮度、控制游戏的各个方面、获得基本临床数据以评估神经或认知障碍、诊断和监测退化性眼疾以及允许颈部以下受限或不可动的个人通过使用一只或更多只眼睛和眼睑控制计算机图标来通信。利用视线跟踪的部门和行业包括军、医药、安保、人力绩效、游戏、运动医学、康复工程、公安、科研实验室和玩具业。

在几乎所有情况下，视线跟踪精度的提高使得大多数应用的性能和易于使用性增强。例如，利用提高的精度，能够更加精确地测量量化更小物体或物体组件的位置和固定时间的眼部停留时间。视线跟踪能够更有效地与便携式装置连用，所述便携式装置利用更小的屏幕，其包括移动电话和手持式显示器。当视线跟踪用于控制计算机图标包括屏幕内若干虚拟物体或图标的选择时，可选择物体的数量的增加能够同时显示，这是由于选择较小虚拟物体或图标的能力。选择过程的每个阶段内增加数量的物体可以增加虚拟物体和相关动作能够被选择的效率(即，选择阶段的数量减少和/或时间减少)。

随着现代微电子技术和微光学的出现，将用于视线跟踪的组件不易察觉地安装在包括装置(如美国专利No.6163281、6542081或7488294、7515054中公开的那些装置)的眼镜(例如，眼镜框)或头戴装置(例如，头盔，口罩，护目镜，虚拟现实显示器)上是可能的。与头部跟踪相关的方法在2011年5月20日提交的申请号13/113003中公开，其中，在所述方法中，一个或更多个安装有装置的场景摄像机用于跟踪我们环境内的参考位置。基于摄像机图像的照明控制相关的方法在2010年3月1日提交的申请号12/715177中公开，该申请的美国公开号为2011/0211056。与测量装置佩戴者的响应和反应时间相关的方法在2011年5月20日提交的申请号13/113006中公开；其中如在本申请中描述的空间精度的改善可有助于改进反应时间测量的时间精度。

眼睛表面上的结构和映象以及装置佩戴者观看的场景可以通过使用固定到眼镜或头戴系统内的摄像机的高精密微光学进行成像。低功耗、微型摄像机和电子装置的使用通过使用栓系到其他装置或非栓系并(可选地)由电池供电的头戴式系统，而允许全方位的运动。而且，无线通信的最新进步允许视线跟踪结果被实时传送到其他计算、数据存储和/或控制装置。作为这些技术在许多领域中进步的结果，基于戴在眼睛或戴在头上的视线跟踪系统可以是不易察觉的、重量轻的、便携式的以及便于使用且具有不受限的移动性。

发明内容

本发明涉及用于产生精确视线跟踪的装置、系统和方法，其使用不易察觉的眼镜或头戴装置用于眼睛监测和/或控制应用，例如，使用多个眼睛跟踪摄像机。