[发明专利]用于近距离动作跟踪的系统和方法

摘要

描述了用于近距离目标跟踪的系统和方法。用深度传感器获得使用者的手和手指或者其它物件的近距离深度图像。用从该深度传感器获得的深度图像数据，识别和跟踪使用者的手和手指或者其它物件的动作，由此允许该使用者利用他的手和手指或者其它物件的位置和移动与显示在屏幕上的物件互动。

主权项

1.一种用于操作用户界面的方法包括：用深度传感器获取用户的手的近距离深度图像；根据获取的深度图像构造所述用户的手的骨骼模型，所述骨骼模型包括一个或多个关节的选定区域；从在所述用户的手的所述骨骼模型中的一个或多个关节的选定区域内的所述获取的深度图像动作中识别，所述动作包括在根据所述用户的手的构造的骨骼模型的一个或多个关节的选定区域内的所述用户手的手指的动作；使用在所述用户手的骨骼模型中的一个或多个关节的选定区域中的与关节位置相当的三维关节数据跟踪在所述用户的手的在所述骨骼模型中的一个或多个关节的选定区域内的所述用户手的手指的动作；映射与在所述构造的骨骼模型中的所述关节的所述位置相当的所述三维关节数据以投射所述用户的手在屏幕上作为第一物件以执行与所述用户的手的所述骨骼模型的所述关节的选定区域内的所述用户手的所述手指的运动相当的姿势；并且其中在所述用户的手上的所述手指被表现为所述第一物件的个别虚拟光标组件，每个个别虚拟光标组件被设置为：同时与所述屏幕上的一个或多个分离的物件互动，以及具有用于与所述屏幕上所述的一个或多个分离的物件中的同一物件进行交互的不同功能，包括：所述用户的手上的食指具有第一功能以打开所述同一物件，所述用户的手上的中指具有第二功能以擦除所述同一物件，以及所述用户的手上的无名指具有第三功能以最大化所述同一物件。