[发明专利]用户界面控制的装置、系统及方法

说明书

本发明公开了用户界面控制的装置、系统及方法的实施方案，其中该装置包括用于捕获用户的手部的视频或静止图像序列的相机。一个或多个处理器联接到相机，用于处理视频或静止图像序列以产生用户的手部的数字表示，从数字表示确定用户的手部的姿势和动作，并且将姿势或姿势/动作组合与用户界面命令相关联。用户界面控制器被联接以从一个或多个处理器接收所述用户界面命令。显示器联接到用户界面控制器。用户界面控制器使一组的一个或多个用户界面控件出现在显示器上。用户界面命令选择或调整该组所显示的用户界面控件中的一个或多个用户界面控件，并且所选择的用户界面控件的动作基本上实时地跟踪用户的手部的动作。

技术领域

所公开的实施方案整体涉及用户界面，并且更具体地但不仅仅涉及使用姿势和姿势/动作组合与用户界面的非接触式交互。

背景技术

随着电子设备的普及，控制它们及其属性的方法已经大大改善。最初，大多数电子设备使用物理控制(旋钮、滑块、按钮等)进行控制。现在，许多电子设备是由软件控制的，但在很多情况下，它们仍然需要通过用户的某种形式的直接或间接的物理触碰；示例包括利用鼠标进行指向和单击，以及在触摸屏或触摸板上选择或操纵项目。这些控制方法的缺点包括：用户通常必须注意所考虑的设备，因此从其他任务转移了注意力，并且用户必须能够触碰物理控制设备，如果物理控制设备不方便放置，这可能会很困难。

发明内容

本公开讨论了用于基于姿势和动作的用户界面控制的装置和方法的实施方案。该装置包括相机，该相机用于捕获用户的手部的视频或静止图像序列。一个或多个处理器联接到相机，用于处理视频或静止图像序列以产生用户的手部的数字表示，从数字表示确定用户的手部的姿势和动作，并且将姿势或姿势/动作组合与用户界面命令相关联。用户界面控制器被联接以从一个或多个处理器接收用户界面命令。显示器联接到用户界面控制器。用户界面控制器使得一组的一个或多个用户界面控件出现在显示器上。用户界面命令选择或调整这组所显示的用户界面控件中的一个或多个用户界面控件，并且所选择的用户界面控件的动作基本上实时地跟踪用户的手部的动作。

该方法包括捕获用户的手部的视频或静止图像序列。处理视频或静止图像序列以产生用户的手部的数字表示，从数字表示确定用户的手部的姿势和动作，并且将姿势或姿势/动作组合与用户界面命令相关联。一组的一个或多个用户界面控件出现在显示器上。用户界面命令选择或调整这组所显示的用户界面控件中的一个或多个用户界面控件，并且所选择的用户界面控件的动作基本上实时地跟踪用户的手部的动作。

本发明提供一种用户界面控制的装置，该用户界面控制的装置包括：

相机，该相机用于捕获用户的手部的视频或静止图像序列；

一个或多个处理器，该一个或多个处理器联接到相机，用于处理视频或静止图像序列以产生用户的手部的数字表示，从数字表示确定用户的手部的姿势和动作，并且将姿势或姿势/动作组合与用户界面命令相关联；

用户界面控制器，该用户界面控制器被联接以从一个或多个处理器接收用户界面命令；和

显示器，该显示器联接到用户界面控制器，其中该用户界面控制器使一组的一个或多个用户界面控件出现在显示器上，其中用户界面命令选择或调整该组所显示的用户界面控件中的一个或多个用户界面控件，并且其中所选择的用户界面控件的动作实时地跟踪用户的手部的动作。

进一步地，还包括联接到用户界面控制器的一个或多个底层系统，其中所显示的用户界面控件中的一个或多个用户界面控件的选择或调整对一个或多个底层系统的属性进行选择或调整。

进一步地，所述组所显示的用户界面控件是上下文特定的。

进一步地，相机是立体相机或飞行时间相机。

进一步地，用户界面控制的装置还包括联接到一个或多个处理器的用户反馈机构。