[发明专利]增强的虚拟触摸板和触摸屏

说明书

技术领域

本发明整体涉及用于计算机化系统的用户界面，并且具体地，涉及基于三维感测的用户界面。

背景技术

当前可使用许多不同类型的用户界面设备和方法。常见的触觉界面设备包括计算机键盘、鼠标和操纵杆。触摸屏检测由手指或在显示区域内的其他对象所进行的触摸的存在及位置。红外远程控制被广泛使用，并且还出于远程控制的目的已经开发出了“可穿戴的”硬件设备。

还已提出了基于对用户身体的部分进行三维(3D)感测的计算机接口。例如，PCT国际公开WO 03/071410，其公开内容以引用方式并入本文，描述了使用深度感知传感器的手势识别系统。3D传感器通常定位在用户附近的房间中，提供用于识别由感兴趣的身体部分所创建的手势的位置信息。基于身体部分的形状以及其在间隔内的位置和取向来识别手势。对手势进行分类以用于确定进入相关电子设备中的输入。

在本专利申请中以引用方式并入的文档被认为是除了在这些并入的文档中以与在本说明书中明确地或隐含地作出的定义相冲突的方式被定义的任何术语之外的本申请的不可分割的部分，应仅考虑本说明书中的定义。

又如，美国专利7,348,963，其公开内容以引用方式并入本文，描述了一种交互式视频显示系统，在该交互式视频显示系统中，显示屏显示视觉图像，并且照相机捕捉有关显示屏前方的交互区域中的对象的3D信息。计算机系统指导显示屏以响应于对象中的改变来改变视觉图像。

三维人机界面系统不仅可识别用户的手，还可识别身体的其他部分，包括头部、躯干及肢体。例如，美国专利申请公开2010/0034457，其公开内容以引用方式并入本文，描述了用于通过深度图来对类人形态进行建模的方法。对深度图进行分割以便找到身体的轮廓。对轮廓进行处理以便识别受试者的躯干和一个或多个肢体。通过分析深度图中的所识别的肢体中的至少一者的部署来生成输入以控制在计算机上运行的应用程序。

一些用户界面系统跟踪用户凝视的方向。例如，美国专利7,762,665，其公开内容以引用方式并入本文，描述了一种对设备的操作进行调制的方法，包括：提供用于获取关于用户的注视状态的信息的注视用户界面；以及基于所获取的信息对设备的操作进行调制，其中经调制的操作由设备发起。优选地，关于用户的注视状态的信息为由注视用户界面所感测的用户与设备的眼神接触。

发明内容

根据本发明的实施例，提供一种方法，该方法包括由计算机：在耦接至计算机的显示器上呈现多个交互项；接收指示计算机的用户的凝视方向的输入；响应于该凝视方向，选择所述多个交互项中的一个；继选择交互项中的一者之后接收至少包含用户的手的三维(3D)图的序列；分析3D图以检测由用户所执行的手势；以及响应于该手势来对所选择的交互项执行操作。

根据本发明的实施例，还提供一种包括感测设备、显示器、以及耦接至感测设备和显示器的计算机的装置。所述感测设备被配置为接收至少包含用户的头部和手的三维(3D)图并且接收至少包含用户的眼睛的二维(2D)图像；所述计算机被配置为：在显示器上呈现多个交互项；接收指示由计算机的用户所执行的凝视方向的输入；响应于凝视方向，选择所述多个交互项中的一个；继选择交互项中的一者之后接收至少包含用户的手的3D图的序列；分析3D图以检测由用户所执行的手势；并且响应于所述手势来对所选择的交互项中的一者执行操作。

根据本发明的实施例，进一步提供一种包括非暂态计算机可读介质的计算机软件产品，在该非暂态计算机可读介质中存储有程序指令，所述指令在由计算机读取时，使得计算机：在耦接至计算机的显示器上呈现多个交互项；接收指示由计算机的用户所执行的凝视方向的输入；响应于该凝视方向，选择所述多个交互项中的一个；继选择交互项中的一者之后接收至少包含用户的手的三维(3D)图的序列；分析3D图以检测由用户所执行的手势；并且响应于所述手势来对所选择的交互项中的一者执行操作。

根据本发明的实施例，另外提供一种方法，该方法包括：由计算机接收至少包含物理表面的二维图像(2D)；将物理表面分割成一个或多个物理区域；向所述一个或多个物理区域中的每一个物理区域分配功能，所述功能中的每一项功能对应于触觉输入设备；接收至少包含计算机的用户的手的三维(3D)图的序列，所述手定位在物理区域中的一者上；分析3D图以检测由用户所执行的手势；并且基于所述手势来模拟与物理区域中的一者对应的触觉输入设备的输入。