[发明专利]使用低分辨率图像跟踪眼睛

说明书

本公开涉及使用低分辨率图像跟踪眼睛。公开了一种用于在头戴式设备(HMD)中检测用户眼睛的位置和移动的低功率眼睛跟踪。用于HMD的眼睛跟踪系统可包括眼睛跟踪相机。该眼睛跟踪相机可用于在捕获高分辨率帧之间捕获低分辨率帧(例如，通过合并相机传感器上的像素或通过捕获相机传感器上的像素的水平和竖直的条带或线而不是整个帧)。该低分辨率信息可用于在由眼睛跟踪相机捕获的完整高分辨率帧的处理之间的间隔中跟踪用户眼睛相对于设备的相对移动。

优先权信息

本专利申请要求2019年9月18日提交的名称为“低功率眼睛跟踪系统(LOW-POWEREYE TRACKING SYSTEM)”的美国临时专利申请序列号62/902,329的优先权的权益，该美国临时专利申请的内容以引用的方式全文并入本文。

技术领域

本公开涉及使用低分辨率图像跟踪眼睛。

背景技术

虚拟现实(VR)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地，混合现实(MR)将计算机生成的信息(称为虚拟内容)与现实世界图像或现实世界视图相结合，以增强或添加内容到用户的世界视图。因此，可利用VR的模拟环境和/或MR的混合环境为多个应用提供交互式用户体验，诸如将虚拟内容添加到观看者的环境的实时视图的应用、与虚拟训练环境进行交互的应用、游戏应用、远程控制无人机或其他机械系统的应用、观看数字媒体内容的应用、与因特网交互的应用等。

眼睛跟踪器是用于估计眼睛位置和眼睛运动的设备。眼睛跟踪系统已被用于视觉系统的研究、心理学、心理语言学、营销且用作用于人机交互的输入设备。在后一种应用中，通常考虑人的注视点与台式监视器的交叉点。

发明内容

描述了用于虚拟和混合或增强现实(VR/AR)应用中的低功率眼睛跟踪的方法和装置的各种实施方案。

描述了用于跟踪设备相对于用户头部的相对移动的方法和装置的实施方案，其中传感器(在本文中称为头部运动传感器或头部测距仪)放置在设备中或设备上的一个或多个位置处。在眼睛跟踪系统的一些实施方案中，为了准确地确定用户眼睛相对于眼睛跟踪相机的位置，控制器可执行算法，该算法使用由眼睛跟踪相机捕获的图像来执行三维(3D)重建以生成用户眼睛的3D模型。来自头部测距仪的信号可用于检测设备相对于用户眼睛的移动。这可允许仅在检测到设备相对于用户眼睛的移动时才执行3D重建，从而显著减小眼睛跟踪系统的功率消耗。在一些实施方案中，代替在已经检测到设备相对于用户眼睛的移动时执行3D重建，可确定所检测的运动的量值和方向，并且可根据所检测的HMD的运动的量值和方向来调整先前由3D重建方法生成的用户眼睛的3D模型。

还描述了用于使用眼睛测距仪跟踪用户眼睛相对于HMD的相对移动的方法和装置的实施方案。在一些实施方案中，传感器(在本文中称为眼睛运动传感器或眼睛测距仪)放置在设备中的一个或多个位置处以增强眼睛跟踪相机。眼睛测距仪可用作低功率部件以在由眼睛跟踪相机以帧速率捕获的帧的处理之间的间隔中跟踪用户眼睛相对于设备的相对移动。

还描述了用于使用低分辨率图像跟踪用户眼睛相对于HMD的相对移动的方法和装置的实施方案。在一些实施方案中，眼睛跟踪相机本身可捕获低分辨率帧(例如，通过合并相机传感器上的像素或通过捕获相机传感器上的像素的水平和竖直的条带或线而不是整个帧)。该低分辨率信息可用于在由眼睛跟踪相机捕获的完整高分辨率帧的处理之间的间隔中跟踪用户眼睛相对于设备的相对移动。

这些眼睛跟踪方法和装置可允许减小眼睛跟踪相机的帧速率，例如从120帧/秒减小到10帧/秒或更少，并且还可允许不太频繁地执行3D重建，从而显著减小眼睛跟踪系统的功率消耗。眼睛跟踪方法可单独使用或在各种实施方案中组合使用。