[发明专利]用于空间交互中的额外模态的面部跟踪

权利要求书

1.一种用于执行用户与用户装置的空间交互的设备，其包括：

所述用户装置的至少一个处理器，其经配置以：

使图像跟踪器在第一坐标系统中检测及跟踪所述用户的面部相对于所述用户装置的位置及定向；

使传感器跟踪器在第二坐标系统中检测及跟踪所述用户装置相对于目标的位置及定向；

将所述第一坐标系统与所述第二坐标系统映射到全局坐标系统；

基于所述用户的所述面部的所检测到的位置及定向、所述用户装置的所检测到的位置及定向和所述全局坐标系统，连续地跟踪所述用户的所述面部；

接收来自于所述用户的包括至少所述用户的凝视的输入，其中至少部分地基于所述用户的所述面部被连续地跟踪而确定所述用户的所述凝视；及

基于来自于所述用户的所述输入且基于所述用户装置的所述位置或定向操作显示于所述用户装置的用户界面上的所述目标的表示。

2.根据权利要求1所述的设备，其中所述图像跟踪器经配置以：

检测所述用户的所述面部；

跟踪所述用户的所述面部的移动；或

确定所述用户是否已眨眼且基于所述用户已眨眼触发所述用户装置。

3.根据权利要求1所述的设备，其中所述传感器跟踪器经配置以：

检测所述用户装置的移动；

跟踪所述用户装置的移动；

检测所述目标；或

连续地跟踪所述目标的移动。

4.根据权利要求1所述的设备，其中所述至少一个处理器进一步经配置以解释在所述用户装置前方的三个自由度和在所述用户装置后方的三个自由度。

5.根据权利要求1所述的设备，其中所述第一坐标系统为在所述用户装置前方的面部到装置坐标系统。

6.根据权利要求1所述的设备，其中所述第二坐标系统为在所述用户装置后方的装置到目标坐标系统。

7.根据权利要求1所述的设备，

其中所述全局坐标系统包括现实世界坐标系统。

8.根据权利要求1所述的设备，其中所述图像跟踪器包括耦合于所述至少一个处理器的硬件组件，由所述至少一个处理器执行的软件模块，或者软件与硬件的组合，以及其中所述传感器跟踪器包括耦合于所述至少一个处理器的硬件组件，由所述至少一个处理器执行的软件模块，或者软件与硬件的组合。

9.根据权利要求1所述的设备，其中所述至少一个处理器经配置以进行操作包括所述至少一个处理器经配置以基于所述用户的凝视显示放大级别增加的所述目标的所述表示。

10.根据权利要求1所述的设备，其中所述至少一个处理器经配置以进行操作包括所述至少一个处理器经配置以显示所述目标的所述表示的X射线视图。

11.根据权利要求1所述的设备，其中所述至少一个处理器经配置以进行操作包括所述至少一个处理器经配置以基于所述用户的凝视的方向改变所述目标的所述表示的细节水平。

12.根据权利要求9所述的设备，其中所述目标的所述表示的放大级别基于所述用户的凝视的方向。