[发明专利]用于视觉显示器的虚拟控制器

说明书

背景

手移动和手信号是人类表达和交流的自然形式。该知识对人机交互的应用 导致了允许人类手势作为计算机输入的基于视觉的计算机技术的开发。计算机 视觉是能够以捕捉一个人的手或身体的不受阻碍的运动为目标来实现人类手 势输入系统的技术。然而，当前正在开发的许多基于视觉的技术涉及需要非自 然手势和附加设备的难以使用的运用。这些技术可以是复杂且庞大的，从而导 致由于远离标准的计算机使用位置的重复的手移动而降低效率。

当前计算机输入方法一般涉及使用键盘的文本输入和经由鼠标或指示笔 的光标操纵两者。键盘和鼠标之间的反复切换随着时间的推移降低了用户的效 率。计算机视觉技术已试图通过利用手移动作为输入来对人机输入任务的效率 低下进行改进。在检测发生在诸如键盘等计算机使用期间的常见手位置的情况 下，该利用将会是最有效的。许多现有的基于视觉的计算机技术将对定点或伸 出的手指的使用用作输入手势。由于定点手势与打字期间的自然手定位类似， 难以检测位于或在键盘位置附近的手势。

大多数现有计算机视觉技术利用手势检测和跟踪范例来传感手势和移动。 这些检测和跟踪范例是复杂的，其使用复杂的模式识别技术来恢复手的形状和 位置。检测和跟踪受到若干因素的限制，包括难以实现合理的计算复杂性，由 于人类手移动和手势中的歧义而导致的实际检测中的问题，以及缺乏对允许多 于一个用户交互的技术的支持。

概述

提供本概述以便介绍将在以下详细描述中进一步描述的用于视觉显示器 的虚拟控制器的简化概念。本概述并不旨在标识所要求保护的主题的必要特 征，也不旨在用于帮助确定所要求保护的主题的范围。

在用于视觉显示器的虚拟控制器的一个实现中，照相机或其他传感器检测 相对于背景的一个或多个手的图像。该图像被分割成手区域和背景区域，并且 在各间隔处对在该图像中通过拇指和一手指做出封闭的环形成的不同的、独立 的背景区域-“洞”进行计数(例如，每个手可创建一个洞)。拇指和食指在 以此方式使用时被称作“拇指和食指接口”(TAFFI)。其他类型的手和手指 接口也是有可能的。至少一个控制参数然后被分配到每一个经识别的洞，或捕 捉到的图像中的独立背景区域，该控制参数通常允许用户的手操纵屏幕或监视 器上所显示的图像的某一方面。例如，鼠标点击功能可以在手的拇指和食指互 相接触以创建在视觉上独立的背景区域时被分配为控制参数。可以分配控制参 数以使得显示的图像与同该控制参数相关联的独立区域的形状和/或位置的每 一改变相关地，或与正在形成或展开(拇指和食指接触时的高状态以及拇指和 食指打开时的低状态)的独立区域相关地改变。

附图简述

在各附图中，使用相同的标号来指示相同的特征和组件：

图1是其中可实现用于视觉显示器的示例性虚拟控制器的示例性基于计 算机的系统的图示。

图2是示例性虚拟控制器系统的框图。

图3是图2的虚拟控制器系统的示例性分割器中所使用的图像分割的图 示。

图4是示例性拇指和食指接口控制的图示。

图5是用手和手指姿势来控制视觉显示器的示例性方法的流程图。

详细描述

概览

本发明描述了用于视觉显示器的虚拟控制器。在一个实现中，示例性系统 通过利用应用于手和手指姿势的基于视觉的计算机技术来提供诸如计算机监 视器所特有的视觉用户界面等显示器的导航。在一个实现中，用户在键盘上打 字并且然后例如，通过暂停键盘键入并仅将一个手的拇指和食指碰在一起(犹 如拿着一小指示笔)来调用“拇指和食指接口”即“TAFFI”。该示例性系统 传感该事件并将控制参数分配给由该手指姿势形成的独立背景区域的各属性 以便控制虚拟显示器上的图像。