[发明专利]人机交互系统和方法

权利要求书

1.一种人机交互系统，包括：

图像获取设备，用于获取图像数据；

视线捕捉模块，通过从图像数据中检测用户的头部的俯仰方向和偏转方向来确定用户的视线方向；

姿态追踪模块，用于在图像数据中追踪和识别用户的手的指示方向；

交互确定模块，基于用户的视线方向和用户的手的指示方向均指向显示项来确定交互操作的开始；

其中，所述交互确定模块：

响应于确定用户的视线方向和用户的手的指示方向中的至少一个仍指向显示项来保持交互操作，

响应于确定用户的视线方向和用户的手的指示方向均未指向显示项来停止交互操作。

2.如权利要求1所述的人机交互系统，其中，姿态追踪模块还用于在图像数据中追踪和识别用户身体各部分的姿态和动作。

3.如权利要求2所述的人机交互系统，其中，姿态追踪模块在图像数据中追踪和检测用户的手的节点以确定用户的手的运动和手势，并检测用户的身体骨骼节点以确定用户身体各部分的姿态动作。

4.如权利要求3所述的人机交互系统，其中，交互确定模块还根据用户身体各部分的姿态和动作来确定开始交互操作。

5.如权利要求4所述的人机交互系统，其中，交互确定模块根据视线捕捉模块检测的用户的视线方向和姿态追踪模块识别的用户的手的动作来确定是否开始交互操作。

6.如权利要求2所述的人机交互系统，其中，当用户靠近图像获取设备时，姿态追踪模块追踪和识别用户的手指动作以识别用户的手势，当用户远离图像获取设备时，姿态追踪模块追踪和识别用户的手臂的动作。

7.如权利要求1所述的人机交互系统，还包括：

显示设备，显示与交互操作的结果对应的显示屏幕，

其中，如果确定用户的视线方向和用户的手的指示方向均指向显示屏幕上的显示项超过预定时间，则开始交互操作。

8.如权利要求1所述的人机交互系统，还包括：

自定义姿势注册模块，用于注册与用户自定义的姿势动作对应的交互操作命令。

9.一种人机交互方法，包括：

获取图像数据；

通过从图像数据中检测用户的头部的俯仰方向和偏转方向来确定用户的视线方向；

在图像数据中追踪和识别用户的手的指示方向；

基于用户的视线方向和用户的手的指示方向均指向显示项来确定交互操作的开始；

其中，响应于确定用户的视线方向和用户的手的指示方向中的至少一个仍指向显示项来保持交互操作，响应于确定用户的视线方向和用户的手的指示方向均未指向显示项来停止交互操作。

10.如权利要求9所述的人机交互方法，其中，通过在图像数据中追踪和检测用户的手的节点以确定用户的手的运动和手势，并通过从图像数据中检测用户的身体骨骼节点以确定用户身体各部分的姿态动作。

11.如权利要求9所述的人机交互方法，其中，根据检测的用户的视线方向和姿态追踪模块识别的用户的手的动作来确定是否开始交互操作。

12.如权利要求9所述的人机交互方法，其中，如果确定用户的视线方向和用户的手的指示方向均指向显示屏幕上的显示项超过预定时间，则开始交互操作。

13.如权利要求9所述的人机交互方法，其中，当用户靠近图像获取设备时，追踪和识别用户的手指动作以识别用户的手势，当用户远离图像获取设备时，识别用户的手臂的动作。

14.如权利要求9所述的人机交互方法，其中，确定交互操作的步骤还包括：确定与注册的用户自定义的姿势动作对应的交互操作。