[发明专利]增强现实（AR）远程车辆协助

权利要求书

1.一种向车辆的车辆用户提供增强现实(AR)远程协助的方法，所述方法包括：

将实时视频数据从所述车辆本地的便携式无线设备(PWD)发送到远程计算机处的远程助理应用程序，其中所述PWD包括电子显示器和电子相机，所述电子相机捕获所述电子相机视野内的所述实时视频数据，其中所述远程计算机被配置为：

接收有关所述车辆的车辆诊断信息，

将所述车辆诊断信息提供给远程助理，

显示所述实时视频数据，供所述远程助理使用所述远程助理应用程序查看，

从所述远程助理接收注释输入，以及

将注释信息发送给所述PWD，其中所述注释信息基于所述注释输入；

在移动设备上从所述远程助理应用程序接收所述注释信息，其中所述注释信息包括注释图形信息和注释位置信息，其中所述注释图形信息识别注释图形，并且其中所述注释位置信息识别注释显示位置；以及

在所述电子显示器上显示增强现实(AR)视频，所述AR视频包括位于所述注释显示位置和所述实时视频数据的一部分上方的所述注释图形，其中随着所述电子相机的视野改变所述AR视频被更新，使得所述AR视频中显示的所述注释图形看起来固定在所述电子相机的视野内的位置上。

2.根据权利要求1所述的方法，其中所述注释位置信息包括用于识别和/或跟踪由所述PWD的所述电子相机观察到的三维空间中的物体的物体标记信息，使得所述注释图形可以被固定到所述物体以提供所述AR视频。

3.根据权利要求1所述的方法，其中所述注释位置信息包括所述实时视频数据的像素坐标位置。

4.根据权利要求3所述的方法，其中所述PWD识别由所述PWD的所述电子相机观察到的三维空间内的物体，并且其中所述PWD使用物体识别技术来跟踪所述注释图形，使得所述注释图形看起来固定到所述物体。

5.根据权利要求3所述的方法，其中所述PWD包括一个或多个惯性传感器，所述惯性传感器获得关于所述PWD的位置信息，并且其中所述位置信息用于跟踪由所述PWD的所述电子相机观察到的三维空间内的物体或点，使得所述注释图形看起来固定在三维空间内的所述物体或点上，即使所述PWD被重新定位也是如此。

6.根据权利要求5所述的方法，其中所述位置信息包括与所述PWD有关的定向信息和/或运动信息。

7.根据权利要求1所述的方法，其中实时音频从所述远程计算机流传输到所述PWD，并且其中所述实时音频由所述远程计算机使用麦克风捕获并流式传输以在所述PWD处回放。

8.根据权利要求7所述的方法，还包括显示从所述远程计算机接收的远程助理实时视频数据的步骤，其中所述远程助理实时视频数据是在所述远程计算机处捕获并且以实时方式流式传输到所述PWD用于回放的视频数据。

9.根据权利要求1所述的方法，其中所述PWD将所述车辆诊断信息提供给所述远程助理应用程序，并且其中所述方法还包括以下步骤：从所述PWD向所述车辆发送车辆诊断信息请求，并且响应于发送所述车辆诊断信息请求，在所述PWD处从所述车辆接收车辆诊断信息响应。

10.一种向车辆的车辆用户提供增强现实(AR)远程协助的方法，其中所述方法由包括远程助理应用程序的远程计算机实施，并且其中所述方法包括：

在所述远程助理应用程序处从便携式无线设备(PWD)接收实时视频数据；

在所述远程助理应用程序的图形用户界面(GUI)上显示所述实时视频数据，使得在所述远程助理应用程序的所述GUI处接收并显示在所述PWD处捕获的实时视频数据；

在所述远程助理应用程序的所述GUI处呈现车辆诊断信息；

在所述远程计算机处通过一个或多个人机界面从远程助理接收注释输入；

基于所述注释输入获取注释信息；

在所述远程助理应用程序的所述GUI处显示增强现实(AR)视频，并且其中所述AR视频包括基于所述注释信息和/或所述注释输入产生的注释图形；以及

将所述注释信息和/或所述AR视频发送给所述PWD。