[发明专利]高效的自由空间手指识别

说明书

本文描述用于高效的自由空间手指识别的系统和技术。可以识别深度图像中的表面。可以识别深度图像中的一个或多个团点。可以分析所识别的团点以确定团点是否与深度图像的边缘相交，并且如果团点与边缘相交，则将该团点分类为潜在的手，否则将其分类为物体。

技术领域

本文描述的实施例一般涉及感知计算，以及更确切地来说涉及高效的自由空间手指识别。

背景技术

个人计算（例如，未来计算）可以包括投影式触摸表面（PTS）接口。PTS可以使用投影器将用户接口元件投影在表面，如桌面或台面。因为表面本身可能无法接收输入，所以PTS可以使用其他传感器来观察交互行为和使用这些作为输入。例如，PTS可以包括深度传感器以识别手指（例如，手指尖）在投影的用户接口上或周围移动（或被放置在投影的用户接口上或周围）以确定与接口的交互。

附图说明

在不一定按比例绘制的附图中，在不同视图中相似的数字可以描述相似的组件。具有不同字母后缀的相似数字可以表示相似组件的不同实例。附图大致以举例而非限制的方式图示本发明文档中论述的多种实施例。

图1图示包括根据实施例的用于高效的自由空间手指识别的电路实现的设备的框图的示例PTS系统。

图2A-2B图示根据实施例的用于高效的自由空间手指识别的深度图像和掩模的示例。

图3图示根据实施例的用于高效的自由空间手指识别的方法的示例。

图4图示根据实施例的用于高效的自由空间手指识别的方法的示例。

图5是图示可以实现一个或多个实施例的机器的示例的框图。

具体实施方式

现在，PTS系统检测手指尖触摸投影式用户接口元件的常见方式是使用来自深度传感器的深度图像。接下来，可以从深度图像找出手团点（blob）。正如本文所使用的，团点是数字图像中一些属性（例如，与点的距离、连通性、颜色、亮度等）是恒定的或在限定的值范围内变化的区域（例如，像素、子像素、体素的集合等）。在找到手团点之后，从手团点中找出手指骨架（例如对其建模）。最后，可以从手骨架查找一个或多个手指尖的三维（3D）位置以确定与投影式用户接口的交互。在一个示例中，可以使用手骨架来确定用户在投影的表面上或上方的手势输入。

至少两个问题来自PTS系统的目前实现。首先，在深度图像中从团点计算手骨架是计算密集的过程，可能浪费在非手的团点上，如不是用于输入的物体。此类物体的示例可以包括放置在桌面上碰巧位于深度传感器的视场内的杯子。随着深度传感器分辨率增加，此问题复杂化。

其次，目前深度传感器性能无法模仿逼近触摸屏幕用户体验，因为例如无法跟随用户、没有深度分辨率、噪声深度图像等。在一些示例中，可以使用线发射器来投影平行于且接近触摸表面的光平面。由此，手指触摸表面将中断该平面并将光反射到例如PTS系统的摄像器并指示已发生触摸。但是，在深度传感器使用对线发射器波长敏感的摄像器的示例中，摄像器可能无法区分触摸与接近摄像器放置的物体之间的差别。

可以通过基于团点是否触碰深度图像的边缘来将团点分类为潜在的手或分类分物体来解决第一个问题。以此方式将团点分类是基于观察到手可能连接到手臂并由此可能连接到身体，而手臂和身体通常位于深度图像的视见平截头体外。相比之下，如杯子、电话、钢笔等的物体可能完整地位于视见平截头体内。可以避免对分类为物体的团点进行手骨架分析，并由此节省了昂贵的计算操作。因此，节省这些计算资源可以增加PTS系统的效率。