[发明专利]使用光流的眼睛跟踪

说明书

一种眼睛跟踪系统，对用户的每个眼睛的表面(例如，巩膜)进行成像以捕获从成像表面的纹理得到的光流场。眼睛跟踪系统包括照明源(例如，激光器)和检测器(例如，照相机)。源照亮眼睛的由照相机成像的一部分。随着眼睛运动，眼睛的不同区域被成像，允许生成眼睛的一部分的图。眼睛的一部分的图像包括与眼睛的该部分对应的衍射图案(即，光流)。通过校准处理，光流映射至眼睛注视的位置。

技术领域

本公开总体涉及跟踪虚拟现实系统用户的眼睛位置，并且更具体地，涉及使用眼睛的表面上的相干光的衍射图案跟踪眼睛位置。

背景技术

虚拟现实系统通常包括呈现虚拟现实图像的显示面板，显示面板可描述仅属于虚拟现实环境的元素。如同在增强现实应用中，该显示面板还可以组合真实元素(例如，物理世界中的高草)与虚拟元素(例如，高草中隐藏的动漫动物)。为了与虚拟现实系统交互，用户朝向虚拟现实图像的一部分进行输入。一些虚拟现实系统包括将手和手指运动转换为输入信号的专用外围设备。然而，传统的外部设备人为地将用户与虚拟环境分开，这防碍了用户在虚拟环境中具有完全身临其境的体验。与主要依赖手提外围设备的界面相比，眼睛跟踪系统提供更加身临其境的界面。然而，现有的眼睛跟踪系统不适合用于便携的、轻型的并且高性能的虚拟现实头盔。

发明内容

虚拟现实(VR)系统环境包括VR头盔和VR控制台，VR头盔被配置为经由电子显示器向用户呈现内容，并且VR控制台被配置为生成用于呈现给用户的内容并将生成的内容提供给VR头盔以用于呈现。为了提高用户与所呈现内容的交互，VR控制台基于用户注视的位置修改或者生成内容，用户注视的位置通过跟踪用户的眼睛来确定。因此，VR头盔利用安装至VR头盔(例如，内部)的诸如激光器的相干光源照亮用户的眼睛的表面。

VR头盔中包括的成像装置捕获由用户的眼睛表面的表面反射的光。在一些实施方式中，在成像装置中的成像传感器接收从眼睛表面反射的光之前，从用户的眼睛的表面反射的光可以通过反射光偏振器偏振或者通过透镜组件折射，该透镜组件聚焦或以其他方式修改从眼睛表面反射的光。因为眼睛的表面是粗糙的，所以由成像装置的成像传感器捕获的光可以是由从用户的眼睛表面的多个部分反射的光的组合形成的光斑图案或者衍射图案。

在一些实施方式中，VR头盔执行一个或多个图像处理操作以提高从通过成像装置捕获的光生成的图像的对比度。示例性图像处理操作包括传感器校正(例如，黑电平调整、透镜畸变校正、伽马校正)和照明水平校正(例如，白平衡校正)。VR头盔还可以执行直方图均衡化或者任何其他技术，以增加来自捕获光的图像的对比度。在一些实施方式中，VR头盔可通过电子显示器或者外部光源执行照明水平校正以减小用户的眼睛表面的可变照明引起的噪声。可替代地或者另外地，VR控制台对由VR头盔中的成像装置获得的并且从VR头盔传送至VR控制台的图像执行一个或多个图像处理操作。

VR头盔向VR控制台发送包括由成像装置从所捕获的光捕获的图像或者从捕获图像导出的数据的眼睛跟踪数据。例如，眼睛跟踪数据包括通过一个或多个图像处理操作而修改的捕获图像的版本。作为另一实例，眼睛跟踪数据包括由图像捕获装置捕获的图像和描述用户的眼睛表面被除相干光源以外的源照亮的数据。可替代地，VR头盔包括跟踪用户眼睛的部件，因此VR头盔不向VR控制台发送眼睛跟踪数据。