[发明专利]用于确定注视关注目标的对物体映射的多线迹注视

说明书

本申请公开了一种用于在三维(“3D”)场景中确定用户注视的关注目标的方法。所述方法包含确定用户对3D场景的第一注视方向，其中所述3D场景包含多个部件。所述方法还包含在3D场景中执行多个第一线迹，其中该多个第一线迹中的每一个线迹接近所述第一注视方向。所述方法还包含为与所述多个第一线迹中的至少一个线迹相交的每个部件确定置信度值。所述方法可附加地包含将与所述多个第一线迹中的至少一个线迹相交的所有部件中具有最高置信度值的部件识别为所述用户的关注目标。

技术领域

本发明的实施例涉及在用户观察3D场景时跟踪用户的注视，以及具体地涉及如何确定用户的注视是否朝向在3D场景中的兴趣区域的方向。

相关申请的交叉引用

本申请是于2016年6月2日提交的美国专利申请No.15/171,548的部分继续申请，美国专利申请No.15/171,548要求于2015年6月3日提交的英国专利申请No.1509622.5的权益，这两件申请的全文如在本文中完整阐述的那样出于所有目的通过引用结合在此。

背景技术

探测眼睛和其注视方向是众所周知的，这可以通过(例如)以下步骤来完成：使用红外照射来照亮区域，眼睛在该区域中被寻找；捕捉该区域的图像；以及探测在该图像中的明亮点，所述图像中的明亮点来自眼睛的瞳孔和角膜。这个方法利用摄影者所知的亮眼(bright-eye)或“红眼(red-eye)”效应，其中，光进入眼睛，并且光被反射通过瞳孔或光被吸收并且重新发射通过瞳孔，使得瞳孔比眼睛的其他部分和脸显得更亮。分开的、更小的明亮点(也称为闪光点)由角膜产生。瞳孔和角膜闪光点的相对位置可以被用于确定眼睛的注视方向。更多的细节在美国专利No.6,152,563中给出，其全文内容如在本文中完整阐述的那样出于所有目的通过引用结合在此。

可选择或补充的，可以使用相似的技术，其中，红外线照明器与图像传感器间隔开，因此被图像传感器捕捉到的图像具有不明亮瞳孔，这也被称为“暗瞳孔”效应。

这种注视跟踪技术可以在(例如)邻近显示器的远程注视跟踪器中实施，或在可穿戴设备(例如，一副眼镜、虚拟现实头戴装置、增强现实头戴装置、头盔或类似物)中实施。

这样的注视跟踪技术可以用于确定用户是否看着屏幕上的特定物体或区(这些物体或区在本文件中总体称为“区域”)。例如，这可以作为游戏的一部分。这允许用户通过看着屏幕上的图像而与屏幕上的图像交互(看着图像的行为具有预定结果)，或通过将看着图像与另一控制的结合(例如，用户的注视朝向图像的同时，用户按压键盘上的键或鼠标)来与屏幕上的图像交互。

典型地，屏幕上的图像可以包括注视-可交互区域以及非注视-可交互的区域。

用于确定用户的注视是否朝向图像中的注视-可交互区域的先前方法趋向于基于需要开发者指定“交互遮掩(interaction mask)”以表明可交互元素在屏幕中的位置。在一定限制条件中这些方法可以工作得很好。那些限制条件包含静态的“摄影机”(即，视点，从该视点确定在屏幕上的图像)的使用，以及维持少数量的作为遮挡体(occluder)的可移动物体(需要被标记为注视-可交互的元素，但该元素仅用于传输视觉选择信息的目的，而它们本身不是“可交互的”)。并且，这样的系统典型地依赖注视-可交互物体在视觉场景中时可见的。

此外，测验(poll)或以其他方式从虚拟摄影机投射线以确定场景中与其相交的物体在先前是可能的。然而由于注视跟踪技术中100％精确度的固有缺乏，更优选的是，测验场景中的区以考虑(account)用户的经确定的注视位置中的错误或偏差。事实上，这需要搜索从视觉摄影机投射的圆锥体形状的内部。这是处理密集的和低效率的解决方案。