[发明专利]用于近距离动作跟踪的系统和方法

权利要求书

1.一种用于操作用户界面的方法包括：

用深度传感器获取用户的手的近距离深度图像；

根据获取的深度图像构造所述用户的手的骨骼模型，所述骨骼模型包括一个或多个关节的选定区域；

从在所述用户的手的所述骨骼模型中的一个或多个关节的选定区域内的所述获取的深度图像动作中识别，所述动作包括在根据所述用户的手的构造的骨骼模型的一个或多个关节的选定区域内的所述用户手的手指的动作；

使用在所述用户手的骨骼模型中的一个或多个关节的选定区域中的与关节位置相当的三维关节数据跟踪在所述用户的手的在所述骨骼模型中的一个或多个关节的选定区域内的所述用户手的手指的动作；

映射与在所述构造的骨骼模型中的所述关节的所述位置相当的所述三维关节数据以投射所述用户的手在屏幕上作为第一物件以执行与所述用户的手的所述骨骼模型的所述关节的选定区域内的所述用户手的所述手指的运动相当的姿势；并且

其中在所述用户的手上的所述手指被表现为所述第一物件的个别虚拟光标组件，每个个别虚拟光标组件被设置为：

同时与所述屏幕上的一个或多个分离的物件互动，以及

具有用于与所述屏幕上所述的一个或多个分离的物件中的同一物件进行交互的不同功能，包括：

所述用户的手上的食指具有第一功能以打开所述同一物件，

所述用户的手上的中指具有第二功能以擦除所述同一物件，以及

所述用户的手上的无名指具有第三功能以最大化所述同一物件。

2.如权利要求1所述的方法，其中执行与在所述用户手的所述骨骼模型中的所述关节的选定区域内的所述用户的手的手指的动作相应的姿势产生与所述屏幕上的所述分离物件中的一个或多个互动的力。

3.如权利要求1所述的方法，其中在所述用户手的所述骨骼模型中的所述关节的选定区域内的所述用户的手的所述被识别的手指的动作与选择姿势相当，其中所述屏幕上的所述第一物件选择所述屏幕上的第二物件。

4.如权利要求1所述的方法，其中在所述用户手的所述骨骼模型中的所述关节的选定区域内的所述用户的手的所述被识别的手指的动作与操作姿势相当，其中在所述屏幕上的第二物件根据与所述操作姿势相关的预定义的行为被操作。

5.如权利要求1所述的方法，进一步包括：

确定所述用户的手与所述屏幕间的距离；

基于所述距离的变化缩放所述屏幕。

6.如权利要求5所述的方法，进一步包括：移动所述屏幕上的光标以从所述屏幕上一堆物件中指示选定物件，其中所述光标基于所述用户的手与所述屏幕间的距离移动，其中移动所述光标包括，在所述用户的手移动靠近所述屏幕时，向所述物件堆的底部移动所述光标，当所述用户的手移动远离所述屏幕时，向所述物件堆的顶部移动所述光标。

7.如权利要求1所述的方法，进一步包括，基于所述用户的手与所述屏幕间的距离标定所述第一物件的尺寸。