[发明专利]使用瞳孔中心位置的映射进行注视跟踪

说明书

由相机(302)捕获眼睛(100)的图像。对于这些图像中的每个图像，获得注视数据(402)，并且估算(403)该图像中瞳孔中心(103)的位置。该注视数据指示当捕获该图像时该眼睛(100)的注视点(111)和/或注视方向(107)。使用所获得的注视数据和瞳孔中心的估算位置来校准(404)映射(510，520，530)。该映射将由该相机捕获的图像(501)中瞳孔中心的位置映射到一表面(512，522)上的注视点(511，521)，或映射到注视方向(531)。由该相机捕获该眼睛的另一图像。估算(406)该另一图像中瞳孔中心的位置。使用经校准的映射和该另一图像中瞳孔中心的估算位置来执行(407)注视跟踪。这些步骤可以例如在HMD(1501)上被执行。

技术领域

本公开总体上涉及注视跟踪。

背景技术

已经形成了用于监测用户正在看向哪个方向(或显示器上的哪个点)的不同技术。这通常被称为注视跟踪或眼睛跟踪。通常采用一个或多个相机来捕获用户眼睛的图像。采用图像处理来检测图像中的眼睛的各种特征(例如，瞳孔中心和照明器在角膜处的反射)。然后，采用这些检测到的特征来估算用户正在看向何处。例如可以采用注视跟踪以允许用户通过眼睛移动来控制计算机(或某个其他类型的系统)，或者可以采用注视跟踪来提升头戴式装置(如头戴式显示器(HMD))中的虚拟现实(VR)体验。注视跟踪的准确性和精度对于提供良好的用户体验可能很重要。图像中的噪声可能会影响注视跟踪性能。可能会影响注视跟踪性能的另一个问题是，在某些注视角下，可能难以检测由(多个)相机捕获的图像中的特征。诸如瞳孔中心和/或角膜反射(也称为闪光)等特征可能例如难以在某些图像中准确地检测到。这可能会对注视跟踪性能产生负面影响。解决该问题的一种方法是在注视跟踪系统中配备相对于用户头部布置在适当位置的附加相机和照明器，以确保相机和照明器可用于尽可能多的注视角。然而，这种附加设备可能增加注视跟踪系统的成本，并且可能占据本该被用于注视跟踪设备以外的其他部件占据的空间。希望提供新的方法来解决上述问题中的一个或多个问题。

发明内容

提供了具有在独立权利要求中定义的特征的方法、系统和计算机可读存储介质，以解决上述问题中的一个或多个问题。在从属权利要求中定义了优选的实施例。

因此，第一方面提供了注视跟踪方法的实施例。该注视跟踪方法包括：获得由相机捕获的一组眼睛图像。针对来自该组图像的每个图像，该注视跟踪方法包括：获得注视数据，该注视数据指示当捕获该图像时眼睛正在注视的点和/或当捕获该图像时眼睛正在注视的方向，并估算该图像中眼睛瞳孔中心的位置。该注视跟踪方法包括：使用所获得的注视数据和所估算的瞳孔中心位置来校准映射。该映射适于将由该相机捕获的图像中的眼睛瞳孔中心的位置映射到某一表面上的眼睛注视点、或映射到眼睛的某些注视方向。该注视跟踪方法包括：获得由该相机捕获的另一眼睛图像；估算该另一图像中瞳孔中心的位置；以及使用经校准的映射和该另一图像中所估算的瞳孔中心的位置来执行注视跟踪。

基于瞳孔中心角膜反射(PCCR)的注视跟踪已广泛用于远程注视跟踪和对诸如虚拟现实(VR)头戴式设备或增强现实(AR)头戴式设备等头戴式装置的注视跟踪。在对头戴式装置的注视跟踪中，基于PCCR的方法通常会在大注视角时提供比小注视角时更低的准确性和精度，这主要是由于检测图像中的角膜反射时产生的噪声。在对头戴式装置的注视跟踪中，头戴式设备和安装在其上的相机通常完全静止，并且瞳孔的移动反映了眼球和注视方向的移动。因此，瞳孔中心的位置对于估算注视很有用。换言之，如上文关于根据第一方面的方法的实施例描述的，注视跟踪可以使用经校准的映射和图像中所估算的瞳孔中心位置来执行。例如，这种注视跟踪可以用作基于PCCR的注视跟踪的替代或补充，以针对至少一些注视角或在基于PCCR的注视跟踪不太可靠的情况下改善注视跟踪性能(诸如准确性和/或精度)。上文提到的一些问题可能发生在远程注视跟踪中，并且因此本发明同样适用于远程注视跟踪。