[发明专利]用于交互反馈的手部跟踪

说明书

描述了一种装置，包括：存储器，其被配置为接收描绘操作控制系统的用户的至少一只手的捕捉到的传感器数据。所述装置具有跟踪器，其被配置为根据捕捉到的传感器数据来计算手的三维(3D)模型的姿态参数的值，姿态参数包括所述手的多个关节中的每一个的位置和取向。物理引擎存储关于至少一个虚拟实体的数据。物理引擎被配置为至少基于所述姿态参数的值和关于手的3D模型的数据，来计算在所述虚拟实体与所述用户的手的3D模型之间的交互。反馈引擎被配置为触发关于计算出的交互的针对用户的反馈，所述反馈是视觉反馈、听觉反馈、触觉反馈中的任何一个或多个。

背景技术

用户能够使用他们的手控制一个或多个虚拟实体的系统可以使用户以自然方式操作游戏系统、增强现实系统、虚拟现实系统和其他。人类习惯于用他们的手与物理对象交互，并且从小就学会以相当的技巧和灵活性来做到这一点。

发明内容

下面给出了本公开的简要概述，以便为读者提供基本的理解。本发明内容并非旨在标识所要求保护的技术方案的关键特征或基本特征，也不旨在用于限制所要求保护的技术方案的范围。其唯一目的是以简化形式呈现本文所公开的概念的选择，作为稍后呈现的更详细描述的序言。

描述了一种装置，包括：存储器，其被配置为接收描绘操作控制系统的用户的至少一只手的捕捉到的传感器数据。所述装置具有跟踪器，其被配置为根据捕捉到的传感器数据来计算手的三维(3D)模型的姿态参数的值，所述姿态参数包括所述手的多个关节中的每一个关节的位置和取向。物理引擎存储关于至少一个虚拟实体的数据。物理引擎被配置为至少基于所述姿态参数的值和关于手的3D模型的数据，来计算在所述虚拟实体与所述用户的手的3D模型之间的交互。反馈引擎被配置为触发关于计算出的交互的针对用户的反馈，所述反馈是视觉反馈、听觉反馈、触觉反馈中的任何一个或多个.

通过参考结合附图考虑的以下详细描述，可以更好地理解许多伴随的特征，因为相同的特征将变得更好理解。

附图说明

根据附图阅读以下详细描述将更好地理解本描述，在附图中：

图1是佩戴虚拟现实耳机以便演奏虚拟钢琴的人的示意图；

图2是虚拟手演奏虚拟钢琴的示意图；

图3是虚拟手对虚拟实体进行变形的示意图；

图4是附着到用户的真实手上的虚拟小雕像的示意图；

图5是跟踪器、物理引擎和反馈引擎的示意图，由此用户用他或她的手控制下游系统；

图6是图5的跟踪器、物理引擎和反馈引擎处的方法的流程图；

图7是在跟踪器处的操作方法的流程图；

图8是跟踪器性能的图表；

图9是校准形状参数的方法的流程图；

图10示出了其中实现手部跟踪器、物理引擎和反馈引擎的实施例的示例性的基于计算的设备。

相似的附图标记用于表示附图中的相似部分。

具体实施方式

以下结合附图提供的详细描述旨在作为对本示例的描述，而不旨在表示可以构建或利用本示例的唯一形式。描述阐述了示例的功能以及构建和操作该示例的操作序列。然而，相同或等同的功能和序列可以通过不同的示例来完成。

描述了一种使用户能够使用他或她的手准确地操纵一个或多个虚拟实体的装置。捕捉传感器数据，如深度图像、彩色图像、原始飞行时间数据、扫描仪数据以及其他。传感器数据用于准确跟踪三维(3D)手部模型的多个关节的姿态参数。结合物理引擎，这可以以自然、直观的方式对一个或多个虚拟实体进行精细操纵。

虚拟实体是对象、人员、动物、表面或其他实体的全部或部分的计算机生成的表示。