[发明专利]具有用于经由增强现实眼镜远程协助空间放置任务的用户界面的远程协助工作站、方法和系统

权利要求书

1.一种远程协助工作站(12)，其被配置用于操作性地耦合到包括至少一副立体增强现实眼镜(36)的便携式设备(14)，所述便携式设备由第一响应者(34)使用，以与场景(40)处的对象(42)和第二物体中的至少一个结合使用所述场景处的第一物体(38)来执行至少一个动作，所述远程协助工作站(12)包括：

通信模块(54)，其被配置用于响应于从所述便携式设备发起的远程协助请求而与所述便携式设备(14)进行通信；所述远程协助请求至少包括经由所述场景处的所述立体增强现实眼镜(36)的相机捕获的实况视频流；

用户界面模块(52)，其被配置用于(a)在显示设备上绘制远程助理图形用户界面(100)并且(b)接收来自远程助理(32)的远程助理输入，其中，所述远程助理图形用户界面至少包括：

(i)第一窗格(96)，其用于显示所述远程协助请求的所述实况视频流，以及

(ii)第二窗格(98)，其用于显示所述场景处的所述第一物体(38)的2D表示，其中，所绘制的2D表示能够响应于一个或多个远程助理输入而在所述第二窗格内移动，所述远程助理图形用户界面(100)还用于相对于所述第一窗格(96)内的至少参考点，在所述第一窗格(96)内绘制对应于所述场景处的所述第一物体(38)的所述2D表示的对应的至少一项3D虚拟内容，其中，所述参考点基于所述实况视频流的内容；以及

控制器(56)，其用于生成一个或多个远程协助信号，所述一个或多个远程协助信号要经由所述通信模块(54)输出到所述便携式设备(14)，所述便携式设备用于在所述立体增强现实眼镜(36)上向如由所述相机捕获的所述场景的实况视图内的所述第一响应者(34)显示所述至少一项3D虚拟内容，使得所述至少一项3D虚拟内容响应于在所述远程助理图形用户界面(100)的所述第二窗格(98)内移动所述场景处的所述第一物体(38)的所述2D表示的所述一个或多个远程助理输入而出现在相对于所述实况视图内的所述参考点的正确的位置处，以协助所述第一响应者(34)与所述场景(40)处的所述对象(42)或所述第二物体结合使用所述第一物体(38)来执行所述至少一个动作。

2.根据权利要求1所述的远程协助工作站(12)，其中，所述便携式设备(14)包括便携式医学设备，所述便携式医学设备包括以下中的至少一个：自动体外除颤器(AED)、心肺复苏(CPR)节拍器以及心电图(ECG)监测器(40)；并且其中，所述场景(40)处的所述第一物体(38)包括以下中的一个或多个：(i)第一响应者的手、第一响应者的双手或其他第一响应者身体部分，以及(ii)所述便携式设备(14)的至少一个项。

3.根据权利要求2所述的远程协助工作站(12)，此外其中，所述至少一项3D虚拟内容包括至少一个虚拟表示轮廓，所述至少一个虚拟表示轮廓表示以下中的至少一个：(i)所述第一响应者的手、所述第一响应者的双手或其他第一响应者身体部分，以及(ii)所述便携式设备的所述至少一个项。

4.根据权利要求1所述的远程协助工作站(12)，还包括以下中的一个或多个：

视频绘制模块(60)，其中，所述视频绘制模块能用于在所述第一窗格(96)内至少绘制所述远程协助请求的所述实况视频流；

2D图形视图绘制模块(62)，其中，所述2D图形视图绘制模块能用于在所述第二窗格(98)内至少绘制(i)所述场景(40)处的所述对象(42)或所述第二物体的2D表示，以及(ii)所述场景处的所述第一物体(38)的所述2D表示；

参考点模块(64)，其中，所述参考点模块能用于建立在所述远程协助请求的所述实况视频流的所述内容内并且被显示在所述第一窗格(96)中的所述参考点；以及

XY坐标模块(66)，其中，所述XY坐标模块能用于至少基于针对所述远程协助请求的所述实况视频流的所述参考点来建立所述第一窗格(96)中的XY坐标系。

5.根据权利要求4所述的远程协助工作站(12)，其中，所述参考点包括以下中的至少一个：(i)经由被应用于所述实况视频流中的所述对象的图像的面部识别算法确定的所述对象的面部，以及(ii)所述第一窗格(96)中绘制的所述实况视频流的所述内容内的远程助理选择的参考点。