[发明专利]3D映射环境中的凝视检测

说明书

相关申请

本申请要求2011年2月9日提交的美国临时专利申请61/440877，2011年8月24日提交的美国临时专利申请61/526692，以及2011年9月25日提交的美国临时专利申请61/538867的优先权，在此通过引用将它们并入本文。

发明领域

本发明一般涉及人-机界面，并且具体地涉及组合多个用户交互形式的界面。

发明背景

目前可以利用许多不同类型的用户界面设备和方法。常用的触觉界面设备包括计算机键盘、鼠标和操纵杆。触摸屏检测显示区域中通过手指或其他物体而进行的触摸的存在和位置。红外远程控件得以广泛地使用，并且也已经开发了“可佩戴的”硬件设备，用于远程控制的目的。

基于用户的身体部位的三维（3D）感应的计算机界面也已经被提出。例如，PCT国际公开WO03/071410，其公开内容通过引用并入本文，描述了一种使用深度-感知传感器的手势识别系统。通常设置在房间中的接近用户的3D传感器提供位置信息，该位置信息用于识别目标身体部位所产生的手势。基于身体部位的形状和它的位置以及在一段间隔的朝向来识别该手势。将该手势进行分类以用于确定到相关的电子设备的输入。

通过引用而并入本专利申请中的文献，将被认为是本申请的一个完整部分，除非在这些并入的文献中定义的任何术语和本说明书中明确地或隐含地做出的定义相冲突，（此时）应仅考虑本说明书中的定义。

作为另一个例子，美国专利7,348,963，其公开内容通过引用并入本文，该专利描述了一种交互式视频显示系统，在该系统中显示屏显示可视图像，并且摄像头捕获关于位于显示屏前面的交互式区域中的对象的3D信息。计算机系统响应于对象的改变来指示显示屏改变可视图像。

三维人机界面系统不仅可以识别用户的手，而且还可以识别身体的其它部位，包括头部、躯干和肢体。例如，美国专利申请2010/0034457，其公开内容通过引用并入本文，其描述了一种用于根据深度图模拟人形的方法。对该深度图进行分割以便发现身体的轮廓。对该轮廓进行处理以便识别该对象的躯干以及一个或多个肢体。通过分析深度图中的至少一个所识别出的肢体的布置来产生输入以控制在计算机上运行的应用程序。

一些用户界面系统跟踪用户的凝视方向。例如，美国专利7,762,665，其公开内容通过引用并入本文，其描述了一种用于调节设备操作的方法，该方法包括：提供用于获得关于用户的注意状态的信息的注意用户界面；并且基于所获得的信息调节设备的操作，其中，被调节的操作由该设备来启动。优选地，关于用户的注意状态的信息是用户与由该注意用户界面感测到的设备进行的眼神交流。

发明内容

根据本发明的实施例，提供了一种方法，该方法包括：接收计算机系统的用户的至少一个身体部位的三维（3D）图；接收该用户的二维（2D）的图像，该图像包括该用户的眼睛，从3D图和2D图像中提取出该用户的头部的3D坐标；基于该头部的3D坐标和眼睛的图像识别由用户执行的凝视的方向。

根据本发明的实施例，还提供了一种方法，该方法包括：接收包括计算机系统的用户的眼睛的图像；基于该眼睛的图像识别由该用户执行的凝视的方向；基于凝视方向识别耦合到计算机系统的显示器上的区域，以及对呈现在该区域中的内容执行操作。

根据本发明的实施例，另外又提供了一种方法，该方法包括：通过计算机系统在耦合到计算机的显示器上呈现多个交互项目；从耦合到该计算机的传感设备上接收表示用户的凝视方向的输入；基于凝视方向识别在该显示器上的目标点；使该目标点与出现在该显示器上的第一交互项目相关联；并响应于该目标点，打开该显示器上的一个或多个第二交互项目。

根据本发明的实施例，还提供了一种方法，该方法包括：接收和分割计算机系统的用户的至少一个身体部位随时间的三维（3D）图的第一序列，以便提取该用户的第一点和第二点的3D坐标，该3D图指示了第二点相对于耦合到该计算机系统的显示器的运动；计算与第一点和第二点相交的线段；识别该线段与该显示器相交处的目标点，并且接合在显示器上呈现的接近该目标点的交互项目。

根据本发明的实施例，还提供了一种装置，该装置包括传感设备，该传感设备被配置为接收用户的至少一个身体部位的三维（3D）图和该用户的眼睛图像，并接收该用户的二维（2D）图像，该2D图像包括用户的眼睛；及计算机，该计算机耦合到该传感设备并被配置为从3D图和2D图像中提取该用户的头部的3D坐标，基于该头部的3D坐标和眼睛图像识别由该用户执行的凝视的方向。