[发明专利]对虚拟对象针对混合现实的系统定位

说明书

一种采用增强现实显示器(53)的增强现实设备(50)，所述增强现实显示器用于相对于在物理世界内的物理对象的视图显示虚拟对象。所述设备(50)还采用虚拟对象定位控制器(60)，所述虚拟对象定位控制器用于基于以下决定性聚合来自主控制所述虚拟对象在所述增强现实显示器(53)内的定位：对(一个或多个)空间定位规则的实施，所述(一个或多个)空间定位规则调整所述虚拟对象在所述增强现实显示器(53)内的所述定位；以及对所述物理世界的感测(例如，对在所述物理世界内的(一个或多个)物理对象的对象检测，对所述增强现实显示器(53)相对于所述物理世界的姿态检测和/或对所述增强现实显示器(53)相对于所述物理世界的操作环境的环境检测)。所述决定性聚合还可以包括对所述增强现实显示器(53)的操作评估和/或虚拟评估。

技术领域

本公开内容总体上涉及对增强现实的利用，特别是在医学环境中。本公开内容具体涉及在增强现实显示器内的虚拟对象相对于在物理世界中的物理对象的增强现实显示器内的视图的系统定位。

背景技术

增强现实通常是指当物理世界的实况图像流被补充有额外的计算机生成的信息时的情况。具体地，物理世界的实况图像流可以经由眼镜、相机、智能手机、平板电脑等进行可视化/显示，并且物理世界的实况图像流经由显示器被增强给用户，这能够经由眼镜、隐形眼镜、投影或实况图像流设备本身(智能手机、平板电脑等)来完成。在物理世界上叠加虚拟对象的可穿戴增强现实设备或装置的实施方式的示例包括但不限于GOOGLE GLASS^TM、HOLOLENS^TM、MAGIC LEAP^TM、VUSIX^TM和META^TM。

更具体地，混合现实是一种增强现实，它将内容和项目的虚拟世界融合到物理世界的实况图像/图像流中。混合现实的关键要素包括在三维(“3D”)中感测物理世界的环境，使得虚拟对象可以在空间上配准并叠加到物理世界的实况图像流上。这样的增强现实可以在图像引导的治疗和手术领域中提供关键益处，包括但不限于用于改善工作流程和人体工程学的虚拟屏幕，对复杂解剖结构的全息显示以提高对3D几何的理解，以及用于实现更灵活的系统交互的虚拟控件。

然而，虽然混合现实显示器能够利用虚拟对象(例如，计算机屏幕和全息图)来增强物理世界的实况图像流，从而以可以在医学流程中显著改善工作流程和人体工程学的方式交织(一个或多个)物理对象与(一个或多个)虚拟对象，但是关键问题是必须以优化虚拟对象相对于(一个或多个)物理对象的定位并适当确定虚拟对象的优先级的方式让虚拟对象与实况图像流中的(一个或多个)物理对象共存。对于这个问题，有两个方面需要解决。首先，需要基于物理世界的当前状况对虚拟对象相对于在实况图像流内的(一个或多个)物理对象进行定位的决策过程。其次，需要一个反应过程来响应物理世界不断变化的环境。

此外，对于混合现实，空间映射是识别物理世界中的表面并创建这些表面的3D网格的过程。这通常是通过使用SLAM(同步定位和映射)算法，使用经由深度感测相机(例如，Microsoft Kinect)得到的一系列多灰度相机视图来构建和更新未知环境的地图来完成的。环境的空间映射的常见理由是将虚拟对象放置在适当的背景中，对象的遮挡涉及在虚拟对象前面的物理对象阻挡虚拟对象的可视化，以及遵守物理原理(例如，虚拟对象被可视化为坐在桌子上或地板上，而不是悬停在空中)。

介入室变得越来越虚拟，由此通过头戴式增强现实设备进行可视化的虚拟对象最终将主导传统的物理工作空间。如前所述，在混合现实中，在物理世界的背景内对虚拟对象进行可视化，并且为了将这些视觉对象锚定在介入室的实况图像流内，必须依赖空间映射来准确映射虚拟世界。另外，空间映射还必须足够灵活，以使得当(一个或多个)其他物理对象在物理世界内移动时虚拟对象能够跟随这样的(一个或多个)物理对象。