[发明专利]用于可穿戴系统的跨模态输入融合

权利要求书

1.一种可穿戴系统，包括：

头部姿势传感器，其被配置为确定所述可穿戴系统的用户的头部姿势；

眼睛注视传感器，其被配置为确定所述可穿戴系统的所述用户的眼睛注视方向；

手势传感器，其被配置为确定所述可穿戴系统的所述用户的手势；

硬件处理器，其与所述头部姿势传感器、所述眼睛注视传感器和所述手势传感器通信，所述硬件处理器被编程为：

确定相对于对象所述用户的所述眼睛注视方向与所述头部姿势之间的第一聚散；

至少部分地基于来自所述头部姿势传感器和所述眼睛注视传感器的输入，执行与所述对象相关联的第一交互命令；

确定相对于所述对象所述用户的所述手势与所述眼睛注视方向和所述头部姿势的第二聚散；以及

至少部分地基于来自所述手势、所述头部姿势传感器和所述眼睛注视传感器的输入，执行与所述对象相关联的第二交互命令。

2.根据权利要求1所述的可穿戴系统，其中，所述头部姿势传感器包括惯性测量单元IMU，所述眼睛注视传感器包括眼睛跟踪相机，以及所述手势传感器包括面向外相机。

3.根据权利要求1所述的可穿戴系统，其中，为了确定所述第一聚散，所述硬件处理器被编程为：确定所述眼睛注视方向和与所述头部姿势相关联的头部姿势方向之间的角度小于第一阈值。

4.根据权利要求1所述的可穿戴系统，其中，为了确定所述第二聚散，所述硬件处理器被编程为：确定与所述手势、所述眼睛注视方向和所述头部姿势相关联的跨模态三角形小于第二阈值。

5.根据权利要求1所述的可穿戴系统，其中，所述第一交互命令包括瞄准所述对象。

6.根据权利要求1所述的可穿戴系统，其中，所述第二交互命令包括选择所述对象。

7.根据权利要求1所述的可穿戴系统，其中，所述硬件处理器还被编程为：确定所述手势、所述眼睛注视方向、或所述头部姿势中的至少一个与所述对象的发散。

8.根据权利要求1所述的可穿戴系统，其中，所述第一交互命令包括应用第一滤波器，或者所述第二交互命令包括应用第二滤波器。

9.根据权利要求8所述的可穿戴系统，其中，所述第一滤波器不同于所述第二滤波器。

10.根据权利要求8所述的可穿戴系统，其中，所述第一滤波器或所述第二滤波器包括具有自适应截止频率的低通滤波器。

11.根据权利要求10所述的可穿戴系统，其中，所述低通滤波器包括一欧式滤波器。

12.根据权利要求1所述的可穿戴系统，其中，为了确定所述第一聚散，所述硬件处理器被编程为：确定所述眼睛注视方向和所述头部姿势朝向所述对象的停留时间超过第一停留时间阈值。

13.根据权利要求1所述的可穿戴系统，其中，为了确定所述第二聚散，所述硬件处理器被编程为：确定所述眼睛注视方向、所述头部姿势和所述手势相对于所述对象的停留时间超过第二停留时间阈值。

14.根据权利要求1所述的可穿戴系统，其中，所述第一交互命令或所述第二交互命令包括提供与所述对象相关联的稳定瞄准矢量。

15.根据权利要求14所述的可穿戴系统，其中，所述硬件处理器向应用提供所述稳定瞄准矢量。

16.根据权利要求1所述的可穿戴系统，其中，所述手势传感器包括手持式用户输入设备。