[发明专利]混合现实系统

权利要求书

1.一种用于呈现包括现实和虚拟物体的混合现实环境的系统，所述系统包括：

头戴式显示设备，所述头戴式显示设备包括用于在虚拟环境中显示三维虚拟物体的显示单元；

一个或多个相机套件，其中所述相机套件包括用于捕捉所述混合现实环境中的现实物体的视频相机；以及

操作地耦合到所述显示设备和所述一个或多个相机套件的处理单元，所述处理单元生成包括所述头戴式显示设备、所述三维虚拟物体以及所述一个或多个相机套件被记录于其中的三维坐标空间的场景图，所述处理单元和所述一个或多个相机套件中被选择的相机套件从所述被选择相机套件的视角下生成所述混合现实环境的图像供显示，所述混合现实环境的图像包括所述现实物体和虚拟物体的视频；

第一二维监视器，所述第一二维监视器能显示从所述头戴式显示设备的视角下显示的所述混合现实环境的图像；

其中头戴式显示设备的所述显示单元能显示从所述被选择相机套件的视角下的所述混合现实环境的图像。

2.如权利要求1所述的系统，其特征在于，所述相机套件包括用于捕捉所述混合现实环境中的现实物体的彩色或黑白图像的图像捕捉设备。

3.如权利要求1所述的系统，其特征在于，所述相机套件包括用于捕捉所述混合现实环境的深度数据的图像传感器，所述深度数据被用于从所述图像传感器的视角下生成所述混合现实环境的深度图。

4.如权利要求1所述的系统，其特征在于，所述相机套件和所述头戴式显示设备通过所述相机套件和所述头戴式显示设备捕捉校准线索的一个或多个图像来校准到公共坐标系。

5.如权利要求4所述的系统，其特征在于，所述处理单元基于来自从所述相机套件和所述头戴式显示设备的视角下的校准目标的一个或多个图像的深度成像传感器数据来确定所述相机套件和所述头戴式显示设备的姿态。

6.如权利要求1所述的系统，其特征在于，使用至少部分由所述相机套件生成的深度图像和RGB图像中的至少一者来在所述场景图的三维坐标系中校准所述相机套件。

7.如权利要求1所述的系统，其特征在于，所述相机套件包括位置传感器，所述位置传感器包括用于帮助将所述相机套件记录在所述场景图的三维坐标空间内的惯性测量单元。

8.如权利要求1所述的系统，其特征在于，所述被选择相机套件是第一相机套件，所述一个或多个相机套件还包括第二相机套件，并且所述系统进一步包括用于选择从所述第一和第二相机套件中的任意一个的视角下显示所述混合现实环境的选择设备。

9.如权利要求8所述的系统，其特征在于，进一步包括至少第二二维监视器，所述第一二维监视器显示从所述第一相机套件的视角下的所述混合现实环境的图像，并且所述第二二维监视器从所述第二相机套件的视角下显示所述混合现实环境的图像。