[发明专利]用于校准眼睛跟踪系统的系统和方法

说明书

本文公开了校准成像传感器与空间方位传感器之间的相对方位以及成像传感器之间的相对方位的各种方法。

相关申请交叉引用

本公开与申请号为62/557786和62/570161的美国专利申请以及申请号为PCT/US2016/065141的PCT申请相关，上述申请的公开内容全部通过引用合并于此。

技术领域

本公开涉及用于校准眼睛跟踪系统的系统和方法。

背景技术

人与计算机交互(HCI)，或者一般地，人机交互，专注于计算机技术以及用户和计算机之间的接口的设计和使用。HCI依赖于对人输入动作的灵敏、直观和准确的测量。鼠标、键盘和触摸屏是传统的输入设备，需要用户手动控制。有些输入设备，如Microsoft能够在没有任何物理接触的情况下跟踪用户的身体或手的姿势。在本公开中，“用户”一词和“人”一词可以互换使用。

虚拟现实(VR)技术的最新进展将VR护目镜带入了消费市场。VR护目镜可以为用户创造身临其境的三维(3D)体验。用户可以通过旋转头部在虚拟世界环顾四周，就像在现实世界中环顾四周一样。

增强现实(AR)是另一个发展迅速的领域。AR和VR之间的一个主要区别是AR在真实世界场景中实时操作，与此相对，VR中仅仅在由计算机创建或记录的场景中操作。在VR和AR中，了解用户在看什么位置，以及用户想对期望目标采取什么行动都是非常有用的。有效、可靠的眼睛跟踪将能够在这种情况下实现广泛的应用。

如今，自动驾驶车辆也处于前沿阶段。存在这种情形，由于道路或交通状况的更新或者驾驶模式的改变，处于自动驾驶模式的汽车可能需要驾驶员的注意。因此，持续地监视驾驶员正在看哪里是很有用的。

机器学习和人工智能(AI)可以按照学习、建模和预测的循环工作。在此循环中，快速、直观地跟踪用户的关注点以进行数据采集和确认可以发挥重要的作用。

发明内容

本文公开了一种方法，所述方法包括：基于正在注视三维空间中一点的人的眼睛相对于第一成像传感器的第一相对方位和所述眼睛的瞳孔或边缘相对于所述第一成像传感器的第一相对位置，获得通过所述眼睛的中心的第一三维(3D)线；获得通过所述眼睛的中心的第二3D线；以及基于所述第一3D线和所述第二3D线，确定所述眼睛的中心相对于所述第一成像传感器的相对位置。

根据实施例，所述方法还包括基于通过所述第一成像传感器所获得的所述瞳孔或边缘的图像，获得所述瞳孔或边缘相对于所述第一成像传感器的所述第一相对位置。

根据实施例，所述方法还包括基于所述眼睛相对于第二成像传感器的第二相对方位和所述第一成像传感器相对于所述第二成像传感器的相对方位，获得所述眼睛相对于所述第一成像传感器的所述第一相对方位。

根据实施例，所述方法还包括基于通过所述第二成像传感器获得的所述点的图像，获得所述眼睛相对于所述第二成像传感器的所述第二相对方位。

本文公开了一种方法，所述方法包括：通过第一成像传感器获得人的眼睛的瞳孔或边缘的图像；基于所述图像确定所述眼睛相对于所述第一成像传感器的第一相对方位；基于所述第一相对方位和所述第一成像传感器与第二成像传感器之间的关系，确定所述眼睛相对于所述第二成像传感器的第二相对方位。

根据实施例，所述方法还包括：基于所述眼睛的至少三对相对方位，确定所述关系，其中，每对相对方位包括由通过所述第一成像传感器获得的所述眼睛的瞳孔或者边缘的图像获得的所述眼睛相对于所述第一成像传感器的第三相对方位，并且，每对相对方位还包括由通过第二成像传感器获得的所述眼睛正在注视的一点的图像获得的所述眼睛相对于所述第二成像传感器的第四相对方位。

根据实施例，还基于所述眼睛的中心相对于所述第一成像传感器的相对位置确定第一相对方位。