[发明专利]眼睛跟踪系统

说明书

本公开涉及眼睛跟踪系统。本申请公开了一种用于检测头戴式显示器(HMD)中用户的眼睛的位置和运动的眼睛跟踪系统。眼睛跟踪系统包括至少一个眼睛跟踪相机、朝向用户的眼睛发射红外光的照明源、和位于目镜处的衍射光栅。衍射光栅重定向或反射红外光的从用户的眼睛反射的至少一部分，同时允许可见光通过。相机从被衍射光栅重定向或反射的红外光捕获用户的眼睛的图像。

优先权信息

本申请要求于2019年8月6日提交的题为“EYE TRACKINGSYSTEM”的优先权的权益，其内容以引用方式全文并入本文。

背景技术

虚拟现实(VR)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地，混合现实(MR)将计算机生成的信息(称为虚拟内容)与现实世界图像或现实世界视图相结合，以增强或添加内容到用户的世界视图。因此，可利用VR的模拟环境和/或MR的混合环境为多个应用提供交互式用户体验，诸如将虚拟内容添加到观看者的环境的实时视图的应用、与虚拟训练环境进行交互的应用、游戏应用、远程控制无人机或其他机械系统的应用、观看数字媒体内容的应用、与因特网交互的应用等。

眼睛跟踪器是用于估计眼睛位置和眼睛运动的装置。眼睛跟踪系统已被用于视觉系统的研究、心理学、心理语言学、营销且用作用于人机交互的输入装置。在后一种应用中，通常考虑人的注视点与台式监视器的交叉点。

发明内容

描述了用于虚拟和混合或增强现实(VR/AR)应用中的眼睛跟踪的方法和装置的各种实施方案。描述了诸如头戴式耳机、头盔、护目镜或眼镜的VR/AR装置(本文中称为头戴式显示器(HMD))，该VR/AR装置包括用于在用户的眼睛前面显示包括左图像和右图像的帧以因此将3D虚拟视图提供给用户的显示器(例如，左显示面板和右显示面板)。HMD可包括位于显示器和用户的眼睛之间的左目镜和右目镜，每个目镜包括一个或多个光学透镜。目镜在设计距离处形成所显示的内容的虚拟图像，该设计距离通常接近目镜的光学无限远。

HMD可包括用于检测用户的眼睛的位置和运动的眼睛跟踪系统。眼睛跟踪系统可包括指向相应目镜的表面的至少一个眼睛跟踪相机(例如，红外(IR)相机)、朝向用户的眼睛发射光(例如，IR光)的照明源(例如，IR光源)、和集成在目镜中的透射式衍射光栅或反射式衍射光栅。衍射光栅可以例如是夹在目镜中的两个光学透镜之间的全息层或全息膜，或者另选地是层合到目镜中的光学透镜的图像侧(面向眼睛)或对象侧(面向显示器)表面的全息层或全息膜。

在一些实施方案中，HMD的光源发射IR光以照射用户的眼睛。IR光的一部分从用户的眼睛反射到HMD的目镜的面向眼睛的表面。集成在目镜中的衍射光栅被配置为朝向IR相机重定向(透射式光栅)或反射(反射式光栅)IR光的在目镜处接收的至少一部分，同时允许可见光通过。IR相机从由衍射光栅反射或重定向的红外光捕获用户的眼睛的图像，该IR相机可在使用透射式光栅时位于显示面板的边缘处或附近，或者另选地在使用反射式光栅时位于用户的面部的侧面处(例如，在用户的颊骨处或附近)。

当与包括位于目镜和显示面板之间的将IR光朝向IR相机反射的热镜的系统相比时，将透射式或反射式衍射光栅集成在目镜中允许目镜和显示面板之间的间距减小。当与其中IR相机直接通过目镜观察用户的眼睛的系统相比时，将反射式光栅集成在目镜中允许用户的眼睛通过目镜成像，同时改善由IR相机捕获的图像(例如，通过减少失真)。当与其中IR相机直接通过目镜观察用户的眼睛的系统相比时，将透射式或反射式光栅集成在目镜中还改善了IR相机的视角，从而允许IR相机在远离相机转动时对用户的瞳孔成像。将反射式光栅集成在目镜中允许眼睛跟踪相机被放置在用户的面部的侧面处(例如，在用户的颊骨处或附近)，而不必通过目镜成像。