[发明专利]用于确定三维对象上注视点的方法和装置

说明书

一种用于确定被摄体(subject)的注视端点的系统，该系统包括：眼睛追踪单元，该眼睛追踪单元适于被摄体的一只或多只眼睛的注视方向；头部追踪单元，该头部追踪单元适于确定眼睛追踪器相对于参考坐标系统的位置，该位置包括地点和方位；3D结构表示单元，该3D结构表示单元利用场景的对象在参考坐标系统中的3D结构和位置来提供场景的3D结构表示；基于注视方向、眼睛追踪器位置和3D结构表示，计算场景的3D结构表示的对象上的注视端点或确定该对象本身。

技术领域

本发明涉及一种用于确定注视端点的方法和装置，尤其是用于确定被摄体在空间中的三维对象上的注视端点的方法和装置。

背景技术

针对找到（可能是移动的）人所注视的点或对象或更具体地对象表面的一部分的问题，存在现存的解决方案。这种解决方案描述如下并且可以被拆分成单独的部分。

首先，要找到人（或者其表示，如瞳孔/CR组合，角膜中心和瞳孔/角膜缘等）的注视方向。

为了确定注视方向，可以使用眼睛追踪器。眼睛追踪器观察眼睛（如瞳孔、角膜缘、巩膜上的血管、眼球或光源的反射（角膜反射））的特征，以计算注视方向。

然后，该注视方向被映射到由头戴式场景相机或任何固定位置处的场景相机所捕捉的场景图像。头戴式场景相机相对于头部是固定的，并且因此，一旦进行了相应的校准，就可以进行这种映射。为了执行校准，用户可能必须注视由头戴式相机捕捉的场景图像中的若干个定义的点。通过使用相应地检测的注视方向，可以执行校准，结果产生将注视方向映射到场景图像中的相应的点的转换。在该途径中，如果任何类型的眼睛追踪器允许将注视方向映射到头戴式场景相机的图像中，则可以都被使用。

该途径使能够确定由头戴式场景相机所拍摄的场景图像中的注视点。

作为下一步骤，它会感兴趣的是将头戴式场景相机所捕捉到的场景图像中的注视点映射到（稳定的）参考图像中的点，该注视点可以由于被摄体的移动而可以变化，该参考图像不会移动并且对应于“真实世界”对象或其图像。从而，因为场景相机可以与使用者的头部一起移动，所以通常从与由头戴式场景相机所拍摄的场景图像不同的相机位置拍摄参考图像。

对于头部移动的这种情况，存在已知途径用于基于相对于头部移动后由头戴式相机拍摄得到的特定场景图像的注视方向的检测来确定不移动的参考图像中的注视点。

一种确定注视点的可能途径是将注视方向与相对于眼睛追踪器所限定的虚拟场景平面相交。WO 2010/083853 A1公开了将有源IR标记物用于该目的，该有源IR标记物被固定到特定位置处，例如附接到书架。首先，通过使用两个正交IR线检测器对这些标记物相对于“测试场景”的位置进行检测，该“测试场景”用作由头戴式相机所获得的“参考”图像，这两个IR线检测器通过检测两个线传感器的最大强度来检测两个正交角度。所检测的IR源的角度对应于其在参考图像中的位置。然后，为头戴式相机从不同位置拍摄的随后检测场景检测标记物的角度，从而检测IR源在随后场景图像中的位置。然后，再确定“立体投射”，该立体投射是将所检测到的IR源在随后拍摄的图像(场景图像)中的位置(此时头戴式相机位于不同的位置)转换成IR光源在测试图像(或参考图像)中的位置的映射。借助于这种转换，之后确定的场景图像的注视点也可以转换成测试图像中的相应的（实际）注视点。

通过相对场景稳定标记物，而非相对眼睛追踪器(ET)，来界定注视点被映射的平面，使得将来自实际“场景图像”的注视点映射到不随着时间变化的稳定的参考图像变得可能。以这种方式，参考图像的平面变得随着时间变化而稳定，并且其他参与者的注视也可被映射到其中，因而注视点信息可以随着时间和参与者变化而被聚集，就像之前只能使用位于固定位置的眼睛追踪器做到的一样。

为此，如WO 2010/083853 Al所公开的，现有技术使用IR源作为人工标记物来检测最大发射角，该人工标记物的位置可以通过正交IR线检测器而被检测。