[发明专利]具有用于经由增强现实眼镜远程协助空间放置任务的用户界面的远程协助工作站、方法和系统

摘要

一种远程协助工作站12包括通信模块54、用户界面(UI)模块52和控制器56，以耦合到便携式设备14，所述便携式设备包括一副增强现实(AR)眼镜36，所述一副增强现实眼镜由第一响应者佩戴以使用在场景处的物体与对象执行动作。UI模块52绘制远程助理图形用户界面(GUI)100，所述远程助理图形用户界面包括(i)用于显示远程协助请求的实况视频流的第一窗格96以及(ii)用于显示在场景处的物体的2D表示的第二窗格98，所述2D表示可通过远程助理输入在所述场景中移动。GUI 100相对于参考点在第一窗格内绘制对应的3D虚拟内容项。控制器56向便携式设备14输出远程协助信号，以在场景的实况视图中在AR眼镜上显示3D虚拟内容项38，其出现在由在第二窗格98内移动2D表示以协助在场景处的第一响应者的远程助理输入所确定的位置处。

主权项

1.一种远程协助工作站(12)，其被配置用于操作性地耦合到包括至少一副立体增强现实眼镜(36)的便携式设备(14)，所述便携式设备由第一响应者(34)使用，以与场景(40)处的对象(42)和第二物体中的至少一个结合使用所述场景处的第一物体(38)来执行至少一个动作，所述远程协助工作站(12)包括：通信模块(54)，其被配置用于响应于从所述便携式设备发起的远程协助请求而与所述便携式设备(14)进行通信；所述远程协助请求至少包括经由所述场景处的所述立体增强现实眼镜(36)的相机捕获的实况视频流；用户界面模块(52)，其被配置用于(a)在显示设备上绘制远程助理图形用户界面(100)并且(b)接收来自远程助理(32)的远程助理输入，其中，所述远程助理图形用户界面至少包括：(i)第一窗格(96)，其用于显示所述远程协助请求的所述实况视频流，以及(ii)第二窗格(98)，其用于显示所述场景处的所述第一物体(38)的2D表示，其中，所绘制的2D表示能够响应于一个或多个远程助理输入而在所述第二窗格内移动，所述远程助理图形用户界面(100)还用于相对于所述第一窗格(96)内的至少参考点，在所述第一窗格(96)内绘制对应于所述场景处的所述第一物体(38)的所述2D表示的对应的至少一项3D虚拟内容，其中，所述参考点基于所述实况视频流的内容；以及控制器(56)，其用于生成一个或多个远程协助信号，所述一个或多个远程协助信号要经由所述通信模块(54)输出到所述便携式设备(14)，所述便携式设备用于在所述立体增强现实眼镜(36)上向如由所述相机捕获的所述场景的实况视图内的所述第一响应者(34)显示所述至少一项3D虚拟内容，使得所述至少一项3D虚拟内容响应于在所述远程助理图形用户界面(100)的所述第二窗格(98)内移动所述场景处的所述第一物体(38)的所述2D表示的所述一个或多个远程助理输入而出现在相对于所述实况视图内的所述参考点的正确的位置处，以协助所述第一响应者(34)与所述场景(40)处的所述对象(42)或所述第二物体结合使用所述第一物体(38)来执行所述至少一个动作。