[发明专利]使用结构光的眼睛追踪

说明书

公开了一种用于使用结构光追踪用户的眼睛的系统与方法。通过训练用户眼睛表面的模型来校准结构光系统。结构光发射器投射结构光图案(例如，红外结构光)到眼睛表面的一部分上。从照相机的视点，该照射图案出现失真。基于在所捕获的图像中的照射图案的失真，眼睛追踪系统可以确定结构光入射到的用户眼睛的部分的形状。通过比较确定的用户眼睛的部分的形状与该模型，可以确定眼睛的方位。眼睛追踪系统或其元件由此可以是头戴式显示器的部分，例如作为虚拟现实系统的部分。

技术领域

本公开总体涉及眼睛追踪，并且特别地涉及在虚拟现实和/或增强现实应用中使用结构光进行眼睛追踪。

背景技术

眼睛追踪指检测用户的目光的方向的处理，可以包括检测眼睛在三维 (3D)空间中的角定向。眼睛追踪还可以包括检测眼睛的位置(例如，眼睛的中心)、眼睛的扭转(即，眼睛关于瞳孔中心轴的滚转)、眼睛的形状、眼睛的当前焦距、瞳孔的扩张、眼睛的状态的其他特征、或它们的组合。一种用于眼睛追踪的已知技术是捕获用户的视频图像并且使用机器视觉算法识别用户的瞳孔的方位。然而，这种技术需要显著的计算资源，并且对通过睫毛和眼睑的眼睛的闭合敏感。此外，这种方法是基于在虹膜与瞳孔之间的差别对比，其并非跨用户不变。因此，基于视频的瞳孔追踪可能不能精确地追踪某些用户的眼睛。在诸如在虚拟现实耳机中的头戴式显示器(HMD)的背景下，这种技术具有额外的缺点。用于捕获对于这种追踪方法所需的图像的类型的照相机可能是相对昂贵或大的。类似地，这种技术可能在照相机与用户眼睛的接近度上加入限制条件。此外，当照相机脱离用户目光的轴线定位时，这种技术可能执行不良。然而，当在HMD 中使用眼睛追踪时，眼睛追踪系统的检测元件优选地小、靠近眼睛、并且离开用户目光的轴线。

发明内容

描述了用于追踪用户眼睛的方位和/或位置的眼睛追踪单元。眼睛追踪单元包括一个或多个结构光发射器以及一个或多个照相机。在一些实施方式中，眼睛追踪系统或元件由此可以是头戴式显示器的部分，例如作为虚拟现实系统的部分。一个或多个结构光发射器以结构光图案(例如，红外辐射图案)照射眼睛。一个或多个照相机捕获用结构光图案照射的眼睛的图像(例如，捕获图像为视频流)。在发射器与相机之间的位差可以导致在照射图案的图像(例如，视频流的帧)中的失真。在一些实施方式中，眼睛追踪单元基于在捕获的图像中表现出的失真检测结构光入射到的眼睛表面的一部分的形状。基于检测的眼睛的形状与模型的比较，眼睛追踪单元估计眼睛的方位。估计眼睛的方位可以包括例如确定眼睛用于偏转、俯仰、以及滚转转动以及眼睛的移位矢量。在一些实施方式中，估计眼睛的方位包括估计眼睛的凹轴的方向。通过估计眼睛的瞳孔中心轴的方向以及使用瞳孔轴与凹轴之间的偏移，可以间接地估计凹轴的方向。估计的方位可以用于，例如，确定凝视方向、瞳孔间距离等。

在一些实施方式中，在眼睛追踪开始之前，可以通过训练用户眼睛的模型来校准系统。训练模型可以包括控制电子显示器，以在电子显示器上的位置显示视觉指示符；通过相机捕获由发射器投射到眼睛上的第二失真照射图案的第二图像；以及基于捕获的第二图像并且基于视觉指示符的位置来训练模型。

附图说明

图1是根据一个实施方式的包括虚拟现实系统的系统环境的示图。

图2是根据一个实施方式的HMD的示图。

图3是根据一个实施方式的包括结构光发射器与相机的结构光系统的示图。

图4是根据一个实施方式的眼睛追踪单元的方框图。

图5A是示出根据一些实施方式的用于追踪眼睛移动的处理的方框图。

图5B是示出根据一些实施方式的用于估计眼睛的方位的处理的方框图。

图6是根据一些实施方式的未失真的结构光投影的示例和五个结构光图案示例。