[发明专利]头戴式扩展现实（XR）显示装置

说明书

一种头戴式扩展现实(XR)显示装置包含联接到框架的刚性安装元件。所述XR显示装置进一步包含联接到所述刚性安装元件的右侧和左侧可见光摄像机、联接到所述刚性安装元件的右侧和左侧近红外(NIR)摄像机，以及被配置成照亮所述NIR摄像机的视场内的区域的NIR发光二极管(LED)。所述可见光摄像机被配置成在用户正佩戴所述框架时捕获所述用户的视场内的立体可见光图像，并且所述NIR摄像机被配置成在所述用户正佩戴所述框架时捕获所述用户的所述视场内的立体NIR图像。

技术领域

本公开涉及医疗装置和系统，且更确切地说，涉及使用扩展现实头戴装置摄像机系统的 手术中的计算机辅助导航。

背景技术

手术中的计算机辅助导航为外科医生提供关于患者的解剖的放射照相图像的手术器械的 增强可视化。然而，现有导航系统对于外科医生而言在可用性和人体工程学上具有局限性， 包含：1)外科医生必须转动他/她的头远离患者和手术器械才能观看导航信息；2)依靠其他 人员在手术室操作各种设备的软件功能；以及3)因在手术期间提供导航而造成的间歇性暂 停，同时人员和/或对象阻碍跟踪组件跟踪患者、机器人和手术器械的位姿的能力。

发明内容

本文所公开的各个实施例涉及手术期间的计算机辅助导航的改进。一种扩展现实(XR) 头戴装置可操作地连接到手术系统，以提供外科医生、助手和/或其它人员可以通过其查看和 操控患者图像、查看和操控计算机生成的导航信息和/或控制手术室中的手术设备的交互式环 境。

本公开的一些实施例针对一种头戴式扩展现实(XR)显示装置。所述XR显示装置包含 被配置成由用户的头部佩戴的框架和联接到所述框架的刚性安装元件。所述XR显示装置进 一步包含联接到刚性安装元件的右侧可见光摄像机，以及联接到刚性安装元件的左侧可见光 摄像机。所述XR显示装置进一步包含联接到刚性安装元件的右侧近红外(NIR)摄像机、联 接到刚性安装元件的左侧近红外NIR摄像机以及被配置成照亮右侧NIR摄像机和左侧NIR 摄像机的视场内的区域的至少一个NIR发光二极管(LED)。所述右侧可见光摄像机和左侧 可见光摄像机被配置成在用户正佩戴框架时捕获所述用户的视场内的立体可见光图像。所述 右侧NIR摄像机和左侧NIR摄像机被配置成在用户正佩戴框架时捕获所述用户的视场内的立 体NIR图像。

本公开的一些实施例针对一种用于头戴式显示装置的XR摄像机组合件。所述XR摄像 机组合件包含被配置成联接到可头戴式框架的刚性安装元件。所述XR摄像机组合件进一步 包含联接到刚性安装元件的右侧可见光摄像机，以及联接到刚性安装元件的左侧可见光摄像 机。所述XR摄像机组合件进一步包含联接到刚性安装元件的右侧近红外(NIR)摄像机、联 接到刚性安装元件的左侧近红外NIR摄像机以及被配置成照亮右侧NIR摄像机和左侧NIR 摄像机的视场内的区域的至少一个NIR发光二极管(LED)。所述右侧可见光摄像机和左侧 可见光摄像机被配置成在用户正佩戴框架时捕获所述用户的视场内的立体可见光图像。所述 右侧NIR摄像机和左侧NIR摄像机被配置成在用户正佩戴框架时捕获所述用户的视场内的立 体NIR图像。

本公开的一些实施例针对一种生成扩展现实(XR)图像的方法。所述方法包含在一时间 段期间，在联接到刚性安装元件的一对可见光摄像机的视场内捕获场景的第一多个可见光立 体图像。所述方法进一步包含在所述时间段期间，在联接到所述刚性安装元件的一对NIR摄 像机的视场内捕获场景的第二多个近红外(NIR)立体图像。所述方法进一步包含确定第一 多个可见光立体图像中的第一对象在三维空间内的位置。所述方法进一步包含确定第二多个 NIR立体图像中的第二对象在三维空间内的位置。

在审阅以下图式和详细描述之后，根据实施例的其它手术系统、XR头戴装置、组件以及 相应的方法和计算机程序产品对于本领域技术人员来说将是或变得显而易见的。预期所有此 类手术系统、XR头戴装置、组件以及相应的方法和计算机程序产品包含在本说明书中、在本 公开的范围内且受所附权利要求的保护。此外，预期本文中所公开的所有实施例可单独地实 施或以任何方式和/或组合而组合。

附图说明