[发明专利]基于手势的接口系统和方法

说明书

技术领域

本发明涉及图像分析和对象跟踪。

背景技术

以下公报被认为与本发明的背景的理解有关：

美国专利No.6,252,598；

马加尔（Magal）等人的美国专利8,166421；

WO2005/091125；

WO2010/086866；

Viola,P等人，“Robust Real-time Object Detection”，第二届视觉建模、学习、计算和采样的统计和计算理论国际研讨会（Second International Workshop on Statistical and Computational theories of Vision-Modeling,learning,Computing,and Sampling），加拿大温哥华，2001年7月13日。

存在各种类型的计算机控制和接口装置来向计算机输入命令。例如，这些装置可采取计算机鼠标、摇杆或轨迹球的形式，其中，用户操纵接口装置以执行特定操作，例如从选项菜单选择特定条目、执行“点击”或“指点”功能等。这些接口装置需要表面积以放置装置，并且在鼠标的情况下，适应装置移动和操纵。另外，这些接口装置通常通过线缆连接到计算机，所述线缆通常随意搭在用户的桌子上，导致妨碍用户的工作区域。操纵这些接口装置以执行操作与常见交流手势不一致，例如，与操纵鼠标直至光标停驻在期望的菜单条目上相对，使用手指指点手势来选择菜单条目。

已尝试利用光学传感器实现手势识别以用于向装置输入命令。手势识别需要在视频流中的多个图像中的每一个中标识身体部位（通常为手）。

例如，已知在视频流中标识手势。定义帧中的多个区域并对其进行筛选以通过定位与预定义的手位置和手势对应的曲率极值（例如，峰和谷）来在多个区域中的一个中定位手。然后，使用峰和谷的数量来标识预定义的手势并将其与实现特定计算机操作或功能的手图像相关。

还已知有使用三维位置信息来标识由身体部位生成的手势的系统。在一个或更多个间隔实例，基于身体部位的形状及其位置和取向来识别身体部位的姿态。在一个或更多个间隔实例中的每一个期间身体部位的姿态被识别为组合手势。对手势进行分类以确定对相关电子装置的输入。

还已知有用户接口方法，其中随着时间过去捕获受试者（human subject）的至少一个身体部位的一系列深度图。处理深度图以便检测在身体部位穿过交互表面时身体部位的移动方向和速度。响应于所检测到的方向和速度来控制计算机应用。

发明内容

本发明提供了一种用户接口设备，其用于控制诸如个人计算机（PC）、便携式计算机、PDA、膝上型计算机、移动电话、收音机、数码相机、车辆、医疗装置、智能家用电器（例如，电视或家庭娱乐系统）、移动游戏机或家用电器的装置。

本发明的用户接口设备包括图像传感器。图像传感器在与装置相邻的区域所获得的图像被输入至手势识别系统，手势识别系统分析图像传感器所获得的图像，以从由预定义对象（例如，手或手指）执行的待标识的一个或更多个手势当中标识一个或更多个手势。手势的检测被输入至消息决策器，消息决策器基于所标识的手势和手势识别系统的当前识别模式来生成消息。例如，可将所述消息发送给装置、第一装置的操作系统、在第一装置的处理器上运行的一个或更多个应用、在后台运行的软件程序以及在第一装置上运行的一个或更多个服务或者在装置中、在外部网络上运行的进程。

手势识别系统运行手势识别模块，该手势识别模块按照两个或更多个识别模式中的每一个操作。识别模式由手势模式决策器来确定，手势模式决策器被配置为在一个或更多个不同条件下将识别模式从初始识别模式改变为第二识别模式，如下所述。

基于手势识别的初始识别模式、由手势识别系统标识的手势和态势感知（situational awareness）信息中的任一个或更多个来确定第二识别模式。本文使用术语“态势感知信息”来表示与以下各项中的任一个或更多个有关的信息：第一装置的状态、由与接口系统关联的一个或更多个传感器获得的信息、由与第一装置关联的一个或更多个第一装置传感器获得的信息、与装置上运行的一个或更多个进程有关的信息、与装置上运行的应用有关的信息、与装置的电力状态有关的信息、与装置的通知有关的信息、与装置的移动有关的信息、与装置的空间取向有关的信息、关于与一个或更多个用户的交互的信息、关于用户行为的信息以及关于一个或更多个触发的信息。