[发明专利]训练眼睛跟踪模型

说明书

公开了一种用于训练眼睛跟踪模型(710)的方法(300)、以及相应的系统(400)和存储介质。该眼睛跟踪模型被适配用于基于来自第一眼睛跟踪传感器(411)的传感器数据(709)来预测眼睛跟踪数据。该方法包括：接收(301)由该第一眼睛跟踪传感器在某个时刻获得的传感器数据；以及接收(302)由包括第二眼睛跟踪传感器(421)的眼睛跟踪系统(420)针对该时刻生成的参考眼睛跟踪数据。该参考眼睛跟踪数据是由该眼睛跟踪系统基于由该第二眼睛跟踪传感器在该时刻获得的传感器数据来生成的。该方法包括基于由该第一眼睛跟踪传感器在该时刻获得的该传感器数据以及所生成的参考眼睛跟踪数据来训练(303)该眼睛跟踪模型。

技术领域

本公开内容总体上涉及眼睛跟踪。

背景技术

已经研发了用于监测用户正在看向哪个方向(或显示器上的哪个点)的多种不同技术。这通常被称为注视跟踪。此类技术通常涉及在眼睛图像中检测某些特征，并且然后基于这些检测到的特征的位置来计算注视方向或注视点。这种注视跟踪技术的示例是瞳孔中心角膜反射(PCCR)。基于PCCR的注视跟踪采用瞳孔中心的位置和闪光点(发光装置在角膜处的反射)的位置来计算眼睛的注视方向或显示器上的注视点。

在此背景下经常采用的另一个术语是“眼睛跟踪”。尽管在许多情况下可以将术语“眼睛跟踪”用作注视跟踪的别名，但眼睛跟踪并不一定涉及对(例如，注视方向或注视点的形式的)用户注视的跟踪。眼睛跟踪可以例如涉及对眼睛在空间中的位置的跟踪，而不是实际地跟踪眼睛的注视方向或注视点。

作为诸如基于PCCR的眼睛跟踪等常规技术的替代方案(或补充方案)，可以采用机器学习来训练用于执行眼睛跟踪的算法。例如，机器学习可以采用眼睛图像形式的训练数据以及相关联的已知注视点来训练该算法，使得经训练的算法可以基于眼睛图像来实时地执行眼睛跟踪。这种机器学习通常需要大量的训练数据来正常工作。可能需要花费相当多的时间和/或资源来收集训练数据。在许多情况下，对训练数据可能会有某些要求。训练数据应该例如优选地反映眼睛跟踪算法应该能够处理的所有那些类型的情况/情形。如果训练数据中仅表示了某些类型的情况/情形(例如，仅很小的注视角度、或仅被良好照亮的图像)，则眼睛跟踪算法针对此类情况/情形可以表现良好，但针对在训练阶段期间未涉及的其他情况/情形可能表现不那么良好。

期望提供新的方式来解决上述问题中的一个或多个问题。

发明内容

提供了具有在独立权利要求中定义的特征的方法、系统和计算机可读存储介质，以解决上述问题中的一个或多个问题。在从属权利要求中定义了优选的实施例。

因此，第一方面提供了用于训练眼睛跟踪模型的方法的实施例。该眼睛跟踪模型被适配用于基于来自第一眼睛跟踪传感器的传感器数据来预测眼睛跟踪数据。该方法包括：接收由该第一眼睛跟踪传感器在某个时刻获得的传感器数据；以及接收由包括第二眼睛跟踪传感器的眼睛跟踪系统针对该时刻生成的参考眼睛跟踪数据。该参考眼睛跟踪数据是由该眼睛跟踪系统基于由该第二眼睛跟踪传感器在该时刻获得的传感器数据来生成的。该方法包括基于由该第一眼睛跟踪传感器在该时刻获得的该传感器数据以及所生成的参考眼睛跟踪数据来训练该眼睛跟踪模型。

如前面在背景技术章节中所描述的，可能需要花费相当多的时间和/或资源来收集传统的训练数据。来自已工作的眼睛跟踪系统的参考眼睛跟踪数据可以用作这种传统训练数据的替代方案或补充方案，以训练眼睛跟踪模型。

将理解的是，眼睛跟踪数据(诸如预测眼睛跟踪数据或参考眼睛跟踪数据)可以例如指示眼睛在显示器上的注视点、和/或注视向量、和/或眼睛在空间中的位置。