[发明专利]用于手部跟踪的方法和系统

权利要求书

1.一种用于手部跟踪的系统，其包括：

头戴式显示器，其由用户穿戴；和

手部跟踪摄像机模块，其连接到所述头戴式显示器且包括一对立体摄像机或一深度摄像机中的至少一个，其中

所述手部跟踪摄像机模块配置成捕捉所述用户的至少一个实体手部的图像；且

所述头戴式显示器配置成至少基于所述图像在虚拟环境中呈现所述实体手部的虚拟手部以由所述用户查看，其中：

为了至少基于所述图像在所述虚拟环境中呈现所述实体手部的所述虚拟手部以由所述用户查看，所述系统包括处理器和存储指令的非暂时性计算机可读存储介质，所述指令在由所述处理器执行时，使得所述处理器执行虚拟跟踪方法，所述方法包括：

步骤1、获得当前帧中的图像和上一帧中的经确定3D骨架关节或经确定3D物体姿势中的至少一个作为输出以执行手部及物体检测算法，从而确定在所述当前帧中所述实体手部是否握持物体；

步骤2、响应于确定所述实体手部未握持物体：

执行3D手部骨架关节识别算法以确定所述当前帧中的26个自由度的所述实体手部的3D骨架关节，

至少基于所述经确定3D骨架关节呈现所述虚拟手部，及

将所述经确定3D骨架关节反馈到用于确定在下一帧中所述实体手部是否握持任何物体的所述手部及物体检测算法；

步骤3、响应于确定所述实体手部握持物体：

执行3D手部骨架关节及鲁棒物体姿势识别算法以确定所述当前帧中的26个自由度的所述实体手部的3D骨架关节和所述物体的3D物体姿势，

至少基于所述经确定3D骨架关节呈现所述虚拟手部，及

将所述经确定3D骨架关节和所述经确定3D物体姿势反馈到用于确定在下一帧中所述实体手部是否握持任何物体的所述手部及物体检测算法；及

步骤4、为所述下一帧递归地执行步骤1到步骤3。

2.根据权利要求1所述的系统，其中所述至少一个实体手部是徒手。

3.根据权利要求1所述的系统，其中：

所述至少一个实体手部握持实体物体；

所述实体物体不能够将主动反馈提供到所述系统；且

所述头戴式显示器进一步配置成呈现所述实体物体的虚拟物体，在所述虚拟环境中所述虚拟物体由所述虚拟手部握持。

4.根据权利要求1所述的系统，其中所述处理器和所述非暂时性计算机可读存储介质构成所述头戴式显示器。

5.根据权利要求1所述的系统，其中所述处理器和所述非暂时性计算机可读存储介质构成所述手部跟踪摄像机模块。

6.根据权利要求1所述的系统，其进一步包括由所述实体手部握持或穿戴的控制器，其中：

所述控制器包括按钮或触摸传感器中的至少一个；

所述按钮配置成传感按钮事件以作为主动反馈提供到所述头戴式显示器，所述按钮事件包括按压所述按钮；

所述触摸传感器配置成将触摸事件作为主动反馈传感到所述头戴式显示器，所述触摸事件包括触摸所述触摸传感器；且

所述步骤1包括：

步骤5、获得所述当前帧中的所述图像和所述上一帧中的所述经确定3D骨架关节或所述经确定3D物体姿势中的至少一个作为输出以执行所述手部及物体检测算法，及

步骤6、获得所述手部及物体检测算法的输出和所述按钮事件或所述触摸事件中的至少一个作为输出输出到手部及控制器融合检测算法，以确定在所述当前帧中所述实体手部是否握持物体，且如果获得所述触摸事件，那么确定所述用户的哪只手触摸所述控制器。