[发明专利]基于模型的多假设目标追踪器

说明书

本公开描述一种目标追踪器，其评估由深度相机所获取的一个或多个目标（诸如身体部分、身体和/或对象）的数据的帧。之前帧中的（多个）目标的关节的位置以及来自当前帧的数据被用于确定当前帧中的（多个）目标的关节的位置。为了执行该任务，追踪器提出若干假设并且然后评估数据以验证相应假设。最佳适配由深度相机生成的数据的假设被选择，并且相应地映射（多个）目标的关节。

背景技术

在很大程度上，人类与诸如计算机、平板和移动电话之类的电子设备的交互要求物理地操纵控件、按压按钮或触摸屏幕。例如，用户经由诸如键盘和鼠标之类的输入设备与计算机交互。尽管键盘和鼠标对于诸如录入文本和滚动文档之类的功能是有效的，但是它们对于用户可能与电子设备交互的许多其它方式并不是有效的。握持鼠标的用户的手被约束到仅沿着平坦的二维（2D）表面移动，并且利用鼠标通过三维虚拟空间的导航是笨拙且非直观的。类似地，触摸屏的平坦接口不允许用户传达任何深度概念。这些设备将整个范围的可能手部和手指移动约束到合乎技术约束的二维移动的有限子集。

与电子设备交互的更自然且直观的方式是通过在用户与设备之间的空间中自由地移动手部和手指。为了实现这种交互，必要的是实时鲁棒地且精确地追踪用户手部及其手指的关节联接的配置。

附图说明

图1是图示了在其中定位两个相机以观看区域的示例环境的图。

图2是图示了在其中使用多个相机以捕获用户交互的示例环境的图。

图3是图示了在其中使用多个相机以捕获多个用户进行的交互的示例环境的图。

图4是图示了通过追踪用户手部和/或手指控制远程设备的示意图。

图5是图示了其中用户可以使用手部姿势与机动车控制台交互的示例环境的图。

图6A-6F示出了可以被追踪的手部姿势的示例的图形图示。图6A示出了手指展开的朝上敞开的手部；图6B示出了食指平行于拇指向外指向并且其它手指被拉向手掌的手部；图6C示出了拇指和中指形成圆、其它手指向外伸展的手部；图6D示出了拇指和食指形成圆且其它手指向外伸展的手部；图6E示出了手指触摸且向上指向的敞开手部；并且图6F示出了食指和中指展开并向上指向，无名指和小拇指朝向手掌弯曲并且拇指触摸无名指。

图7A-7D示出了可以被追踪的手部姿势的示例的附加图形图示。图7A示出了动态波状姿势；图7B示出了松散闭合的手部姿势；图7C示出了拇指和食指触摸的手部姿势；并且图7D示出了动态挥击姿势。

图8是手部追踪系统的示例组件以及各组件之中的信息流的框图。

图9示出了所获取的深度图以及从深度图分割出的手部的示例。

图10是图示了示例分割过程的流程图。

图11示出了结皮手部骨骼模型的示例。

图12是图示了骨骼模型的示例校准过程的流程图。

图13示出了具有可见阴影效果的深度图像的示例。

图14是图示了示例追踪过程的流程图。

图15是图示了示例轮廓匹配过程的流程图。

图16示出了用于追踪器模块的示例性架构。

图17是示出了根据本公开的实施例的可以用于实现追踪技术的处理系统的架构的示例的框图。

具体实施方式