[发明专利]用于将物理环境的视觉图像集成到虚拟实境的空间关系

权利要求书

1.一种供物理环境中的头戴式显示器使用的方法，所述方法包括：

获得所述物理环境的深度信息，其中所述物理环境包含一或多个物理对象，并且所述深度信息包括所述物理环境的3维点云；

通过视觉摄像机俘获所述物理环境的视觉图像；

基于所述深度信息确定所述头戴式显示器的用户与包含于所述物理环境中的所述一或多个物理对象之间的空间关系；

基于所述空间关系将所述视觉图像分段以产生包含所述一或多个物理对象的经分段图像，其中，将所述视觉图像分段包括：

基于所述3维点云产生所述一或多个物理对象的3维网格；及

将所述视觉图像的一部分映射到所述3维网格上；

在所述头戴式显示器上显示虚拟图像；及

将所述经分段图像覆叠在所述虚拟图像上以显示所述虚拟图像及由所述视觉摄像机俘获的所述一或多个物理对象两者。

2.根据权利要求1所述的方法，其中确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系包括确定所述用户与所述一或多个物理对象之间的距离，且其中将所述视觉图像分段包括仅在所述距离小于阈值的情况下才在所述经分段图像中包含所述一或多个物理对象。

3.根据权利要求2所述的方法，其中所述阈值的值使得如果所述用户正触碰所述一或多个物理对象，那么所述经分段图像包含所述一或多个物理对象。

4.根据权利要求2所述的方法，其中所述阈值的值使得如果所述用户至少靠近所述一或多个物理对象，那么所述经分段图像包含所述一或多个物理对象。

5.根据权利要求2所述的方法，其中所述用户与所述一或多个物理对象之间的所述距离为所述用户的手与所述一或多个物理对象之间的距离。

6.根据权利要求2所述的方法，其中将所述经分段图像覆叠在所述虚拟图像上包括基于所述用户与所述一或多个物理对象之间的所述距离调节由所述视觉摄像机俘获的所述一或多个物理对象的透明度。

7.根据权利要求6所述的方法，其中调节所述一或多个物理对象的所述透明度包括与所述用户与所述一或多个物理对象之间的所述距离的减小成比例地减小所述透明度。

8.根据权利要求1所述的方法，其中将所述经分段图像覆叠在所述虚拟图像上包括调节由所述视觉摄像机俘获的所述一或多个物理对象的透明度，以使得所述虚拟图像不完全由所述一或多个物理对象遮挡。

9.根据权利要求8所述的方法，其进一步包括在一段时间内增加所述虚拟图像中的所述一或多个物理对象的所述透明度直到所述一或多个物理对象完全透明。

10.根据权利要求1所述的方法，其中确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系包括辨识所述用户的手的手示意动作以识别将包含于所述经分段图像中的所述一或多个物理对象。

11.根据权利要求10所述的方法，进一步包括：

响应于辨识所述手示意动作而产生在所述3维点云内且接近所述用户的所述手的空间区域，且其中将所述视觉图像分段包括仅在所述一或多个物理对象至少部分位于所述空间区域内的情况下才在所述经分段图像中包含所述一或多个物理对象。

12.根据权利要求11所述的方法，其中产生所述空间区域包括响应于辨识所述手示意动作而产生闭合3维形状，且其中将所述视觉图像分段包括仅在所述一或多个物理对象至少部分位于所述闭合3维形状内的情况下才在所述经分段图像中包含所述一或多个物理对象。

13.根据权利要求12所述的方法，其中所述手示意动作为张开手示意动作，且其中所述闭合3维形状为球体。