[发明专利]眼睛跟踪系统

说明书

本发明题为“眼睛跟踪系统”。本申请公开了一种用于检测头戴式显示器(HMD)中用户的眼睛的位置和运动的眼睛跟踪系统。眼睛跟踪系统可包括至少一个近红外(NIR)眼睛跟踪相机，至少一个近红外(NIR)眼睛跟踪相机被定位在用户的面部的每个侧面处，并且指向HMD的目镜的面向眼睛的表面；照射源，照射源朝向用户的眼睛发射NIR光；以及热镜，热镜位于目镜的面向眼睛的表面和用户的眼睛之间。热镜反射NIR光的至少一部分，同时允许可见光经过。相机捕获由热镜反射的用户的眼睛的图像。将热镜定位在目镜的面向眼睛的表面处或附近允许相机被放置在用户的面部的侧面处，而不必通过目镜成像。

背景技术

虚拟现实(VR)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地，混合现实(MR)将计算机生成的信息(称为虚拟内容)与现实世界图像或现实世界视图相结合，以增强或添加内容到用户的世界视图。因此，可利用VR的模拟环境和/或MR的混合环境为多个应用提供交互式用户体验，诸如将虚拟内容添加到观看者的环境的实时视图的应用、与虚拟训练环境进行交互的应用、游戏应用、远程控制无人机或其他机械系统的应用、观看数字媒体内容的应用、与因特网交互的应用等。

眼睛跟踪器是用于估计眼睛位置和眼睛运动的设备。眼睛跟踪系统已被用于视觉系统的研究、心理学、心理语言学、营销且用作用于人机交互的输入设备。在后一种应用中，通常考虑人的注视点与台式监视器的交叉点。

发明内容

描述了用于虚拟和混合或增强现实(VR/AR)应用中的眼睛跟踪的方法和装置的各种实施方案。描述了诸如头戴式耳机、头盔、护目镜或眼镜的VR/AR设备(本文称为头戴式显示器(HMD))，该VR/AR设备包括用于在用户的眼睛前面显示包括左图像和右图像的帧以因此将3D虚拟视图提供给用户的显示器(例如，左显示器和右显示器)。HMD可包括左光学透镜和右光学透镜(本文中称为目镜)，左光学透镜和右光学透镜(本文中称为目镜)位于显示器和用户的眼睛之间。目镜在设计距离处形成所显示的内容的虚拟图像，该设计距离通常接近目镜的光学无限远。

HMD可包括用于检测用户的眼睛的位置和运动的眼睛跟踪系统。眼睛跟踪系统可包括至少一个眼睛跟踪相机(例如，近红外(NIR)相机)，至少一个眼睛跟踪相机(例如，近红外(NIR)相机)被定位在用户的面部的每个侧面处，并且指向相应目镜的面向眼睛的表面；照射源(例如，NIR光源)，照射源(例如，NIR光源)朝向用户的眼睛发射光(例如，NIR光)；以及热镜，热镜位于目镜的面向眼睛的表面和用户的眼睛之间。将热镜表面定位在目镜的面向眼睛的表面处或附近允许眼睛跟踪相机被放置在用户的面部的侧面处(例如，在用户的颊骨处或附近)，而不必通过目镜成像。

在一些实施方案中，HMD的光源发射NIR光以照射用户的眼睛。NIR光的一部分从用户的眼睛反射到位于HMD的目镜的面向眼睛的表面处或附近的热镜。热镜反射NIR光的至少一部分，同时允许可见光经过。例如，位于用户的颊骨处或附近的NIR相机捕获由热镜反射的用户的眼睛的图像。

可分析由眼睛跟踪系统捕获的图像以检测用户的眼睛的位置和运动，或检测关于眼睛的其他信息，诸如瞳孔扩张。例如，从眼睛跟踪图像估计的显示器上的注视点可使得能够与HMD的近眼显示器上示出的内容进行基于注视的交互。其他应用可包括但不限于创建用于VR/AR环境中的化身的眼睛图像动画。

附图说明

图1A和图1B示出了用于VR/AR头戴式显示器(HMD)的眼睛跟踪系统。

图2示出了根据一些实施方案的实现眼睛跟踪系统的VR/AR HMD，眼睛跟踪系统包括位于目镜的面向眼睛的表面和用户的眼睛之间的热镜，以及位于用户的面部的侧面处的眼睛跟踪相机。

图3示出了根据一些实施方案的实现如图2所示的眼睛跟踪系统的示例性HMD的侧视图。