[发明专利]交互式虚拟现实图像生成系统

说明书

技术领域

本发明涉及虚拟现实系统及其操纵。具体地说，本发明涉及图像生成系统和方法，它们向观察者提供物理工作空间的大体上实时的混合现实体验，在该物理工作空间上重叠了包含虚拟物体的虚拟空间，并允许观察者通过在物理工作空间中进行的动作来操纵虚拟物体，以及实施所述方法的程序和存储实施所述方法的程序的存储介质。

背景技术

已知混合现实系统，其中，向观察者呈现包含虚拟物体的虚拟空间的场景，所述虚拟物体重叠在围绕着观察者的真实物理空间馈入上。

例如，US 2002/0075286 A1公开了这样的系统，其中观察者佩戴着头戴式显示器(HMD)，在观察者的眼睛位置处和视线方向上投射出混合现实空间的立体视觉图像。使用复杂的外围发射器-接收器传感器装备跟踪观察者头和手的运动。系统于是要求进行所述外围装备的大量安装和标定，这降低了其便携性和相对非专家用户使用的方便性。另外，系统仅仅向观察者提供了与所感知虚拟物体的非常有限的互动(如果有的话)，并且不允许使用仪器来操纵虚拟现实。

因此，持续存在着设计不复杂的便携式混合现实系统的紧迫需要，它们能够容易地置于标准的工作区域上，例如安装在桌面上，不需要包括HMD，不要求在操作前进行复杂的外围装备安装和标定，能够由相对经验不多的观察者操纵，并且使观察者能够大量且直观地与混合现实工作空间中的虚拟物体互动并操纵它们。这样的系统能够享有大量的应用程序，比如包括训练、教学和研究应用程序、表演、示范、娱乐和游戏。

发明内容

因此本发明的目的是提供图像生成系统和方法，它们给予观察者其上重叠了包含虚拟物体的虚拟空间的物理工作空间的大体上实时的混合现实体验，并允许观察者通过在物理工作空间中进行的动作，大量且直观地与所述虚拟物体在虚拟空间中的互动并操纵它们，以及实施所述方法的程序和存储实施所述方法的所述程序的存储介质。

与所确立的术语一致，本图像生成系统也可以适宜地表示为交互式图像生成系统或单元、交互式虚拟现实系统或单元或者交互式混合现实系统或单元。

优选情况下，本交互式虚拟现实单元可以是小型的且易于用户操作。例如，为了准备所述系统的操作所述用户可以将其放置在标准的工作区域比如桌子上，将所述系统的若干图像拾取构件瞄准在所述工作区表面上或附近的工作空间，并且将所述系统连接到计算机(可选地包括显示器)，以便接收混合现实空间的图像并以简单的方式操纵更多维的虚拟物体。

优选情况下，本系统可以是便携式的并且可以具有与便携性协调的尺寸和重量。

同样在优选情况下，所述系统可以具有一个或多个进一步的优点，比如：它可以具有不复杂的设计，可以容易地置于标准的工作区域，例如安装在桌面上，不需要包括HMD，不要求在使用前进行大量广泛的外围装备安装和标定，以及/或者可以由受培训相对不多的观察者操作。

所以，本发明的一方面提供了允许观察者操纵虚拟物体的图像生成系统，包括用于捕获物理工作空间的图像的图像拾取装置；用于产生包括所述虚拟物体的虚拟空间的图像的虚拟空间图像生成装置；用于通过合成由虚拟空间图像生成装置所产生的虚拟空间的图像和由图像拾取装置所输出的物理工作空间的图像，来产生复合图像的复合图像生成装置；用于显示由合成图像生成装置所产生的合成图像的显示装置；用于由观察者操纵虚拟物体的操纵器；以及用于确定所述操纵器在物理工作空间中的姿态的操纵器姿态判断装置，其特征在于，所述系统被配置为将由所述操纵器姿态判断装置所确定的所述操纵器在物理工作空间中的姿态的变化变换为所述虚拟物体在虚拟空间中的姿态和/或状态的变化。

本图像生成系统通常可以包括管理装置，用于管理关于物体在物理工作空间中的姿态和状态的信息以及管理关于虚拟物体在虚拟空间中的姿态和状态的信息。所述管理装置可以接收、计算、存储和更新关于该物体的姿态和状态的信息，并且可以将所述信息传播到所述系统的其他组件，比如允许产生物理工作空间、虚拟空间的所述图像以及将其组合的复合图像。为了允许所述系统的实时操作，所述管理装置可以被配置为以数据流的方式接收、处理和输出数据和信息。

另一方面提供了允许观察者操纵虚拟物体的图像生成方法，包括以下步骤：获得物理工作空间的图像，产生包括所述虚拟物体的虚拟空间的图像，通过合成虚拟空间的图像和物理工作空间的图像而产生复合图像，以及确定操纵器在物理工作空间中的姿态，其特征在于，将所述操纵器在物理工作空间中的姿态的变化变换为所述虚拟物体在虚拟空间中的姿态和/或状态的变化。使用本图像生成系统有利地实现了所述方法。