[发明专利]基于自扩展的增强现实服务指令库

说明书

增强现实(AR)服务引导使用带有显示器和摄像头的移动设备(30、90)。执行诸如同时定位和映射(SLAM)的计算机视觉(CV)处理(102)，以将AR内容(80)与由摄像头捕获的实况视频馈送(96)对齐。经对齐的AR内容被显示在所述移动设备的显示器上。在一个示例中，所述移动设备是具有透明显示器(92、94)和摄像头(20)的抬头显示器(HUD)(90)。在另一示例中，所述移动设备是具有前显示器(34)和后置摄像头(36)的手机或平板计算机(30)。通过CV处理(54)生成所述AR内容(80)，以将所述AR内容与服务呼叫的记录的视频(40)对齐(70)。所述对齐(72)包括对齐由用户输入在服务呼叫的记录的视频中识别的的感兴趣位置(LOI)。

技术领域

以下总体涉及现场服务领域，并且更具体地涉及医学成像设备和系统服务领域，涉及增强视觉领域以及相关领域。

背景技术

医学成像设备包括非常复杂的系统，例如磁共振成像(MRI)设备，透射计算机断层摄影(CT)成像设备，发射成像系统(例如正电子发射断层摄影(PET)成像设备和用于单光子发射计算机断层摄影(SPECT)的伽马摄像头)成像，在单个设备中提供多种模式的混合系统(例如PET/CT或SPECT/CT成像设备)，以及设计用于引导活检或其他介入性医学流程的成像设备，通常称为图像引导治疗(iGT)设备。这些仅仅是说明性的示例。

从维护的角度来看，现代医学成像设备和系统提出了不同寻常的挑战。它们通常包括用于广泛变化的目的的大量子系统，例如：机械和机电系统，用于装载患者，运输到成像检查区域，以及随后卸载；在CT成像设备的情况下的X射线管组件和X射线探测器阵；再次，在CT的情况下，旋转机架；在PET成像设备的情况下，辐射探测器模块的环形环；在伽玛摄像头的情况下，辐射探测器头和用于围绕患者操纵所述辐射探测器头相关联的机器人硬件；在MRI情况下，超导磁体和相关联的液氦罐和/或其他低温恒温器硬件；用户接口部件，例如计算机控制器、控制按钮、开关、触敏显示器等；等等。通常必须在现场，即在部署了医学成像设备的医院或其他医学机构中执行医学成像设备的维护。此外，由于医院和其他医学机构期望这些设备几乎连续可用以向患者提供成像或图像引导疗法，因此非常需要使维修停机时间最小化。

从维修的角度来看，进一步的困难是，医学成像设备通常由制造商进行近乎不断的开发，并且以各种任选的部件和部件包进行市场销售，因此，医学成像设备的相同制造/型号的不同部署的安装，取决于它们的制造时间和客户选择购买的选项，然而可能具有不同的部件。

这些考虑因素使服务人员要全面了解该领域可能遇到的每项潜在维护任务，尤其具有挑战性。服务人员可以查阅书面服务手册和/或计算机辅助设计(CAD)制图；然而，这些可能会随着时间的流逝而过时，或者可能无法包括特定任选部件。对于CAD制图，服务人员可能难以确定应参考的正确制图(部件，版本等)。此外，如果该服务手册不是由现场服务人员撰写的，则该手册可能无法解决仅在执行现场服务时才显而易见的方面：例如，特定部件在现场可能难以访问，但是起草该服务手册的设计工程师可能不会意识到这一困难。

对于该领域的服务人员而言，另一资源可以是电话或视频会议，其访问专门针对正在接受服务的特定部件、设备等的专家。这占用了专家的宝贵时间，并且需要现场服务人员和专家之间进行协调——要么必须在服务时间内“专家”处于待命状态，要么必须提前安排呼叫的日期/时间。此外，专家可能在有限的信息基础上提供帮助。该信息通常包括由服务人员提供的部件及其环境的口头描述，并且也许还包括使用蜂窝电话(手机)或其他移动设备的内置摄像头提供的部件的视频。在将情境数据从服务人员传输到专家和/或将专家的建议传达给服务人员时，可能丢失重要信息。

以下公开了新的和改进的系统和方法。

发明内容