[发明专利]增强现实（AR）远程车辆协助

说明书

一种向车辆的车辆用户提供增强现实(AR)远程协助的系统和方法。所述方法包括：将实时视频数据从车辆本地的便携式无线设备(PWD)发送到远程计算机处的远程助理应用程序；在移动设备处从远程助理应用程序接收注释信息，其中注释信息包括注释图形信息和注释位置信息，其中注释图形信息识别注释图形；在电子显示器上显示AR视频，AR视频包括位于注释显示位置和实时视频数据的一部分上方的注释图形，其中随着电子相机的视野改变AR视频被更新，使得AR视频中显示的注释图形看起来固定在电子相机的视野内的位置上。

引言

本发明涉及使用便携式无线设备(PWD)向车辆用户提供增强现实 (AR)协助。

诸如智能电话的移动设备可以与车辆相关联并且用于提供对车辆服务的增强访问。这些设备可以与车辆无线通信，以提供对车辆数据和功能的本地和/或远程访问。并且，随着车辆继续变得更加复杂，车辆的操作、维修和/或维护对于车辆用户或车辆维修技术人员来说可能是具有挑战性的。

发明内容

根据本发明的一个方面，提供了一种向车辆的车辆用户提供增强现实 (AR)远程协助的方法，所述方法包括：将实时视频数据从车辆本地的便携式无线设备(PWD)发送到远程计算机处的远程助理应用程序，其中 PWD包括电子显示器和捕获电子相机的视野内的实时视频数据的电子相机，并且其中远程计算机被配置为：(i)接收有关车辆的车辆诊断信息， (ii)将所述车辆诊断信息提供给远程助理，(iii)显示所述实时视频数据，供所述远程助理使用所述远程助理应用程序查看，(iv)从所述远程助理接收注释输入，以及(v)将注释信息发送给所述PWD，其中所述注释信息基于所述注释输入；在移动设备上从所述远程助理应用程序接收所述注释信息，其中所述注释信息包括注释图形信息和注释位置信息，其中所述注释图形信息识别注释图形，并且其中所述注释位置信息识别注释显示位置；以及在电子显示器上显示增强现实(AR)视频，该增强现实(AR) 视频包括位于注释显示位置和实时视频数据的一部分上方的注释图形，其中随着电子相机的视野改变AR视频被更新，使得AR视频中显示的注释图形看起来固定在电子相机的视野内的位置上。

根据各种实施例，所述方法还可以包括以下特征中的任何一个或这些特征中的一些或全部的任何技术上可行的组合：

·注释位置信息包括用于识别和/或跟踪由PWD的电子相机观察到的三维空间中的物体的物体标记信息，使得注释图形可以固定到物体以提供 AR视频；

·注释位置信息包括实时视频数据的像素坐标位置；

·PWD识别由PWD的电子相机观察到的三维空间内的物体，并且其中PWD使用物体识别技术来跟踪注释图形，使得注释图形看起来固定到物体；

·PWD包括一个或多个惯性传感器，其获得关于PWD的位置信息，并且其中位置信息用于跟踪由PWD的电子相机观察到的三维空间内的物体或点，使得所述注释图形看起来固定在三维空间内的所述物体或点上，即使所述PWD被重新定位也是如此；

·位置信息包括有关PWD的定向信息和/或运动信息；

·实时音频从远程计算机流式传输到PWD，并且其中实时音频由远程计算机使用麦克风捕获并流式传输以在PWD处回放；

·显示从远程计算机接收的远程助理实时视频数据，其中远程助理实时视频数据是在远程计算机上捕获并以实时方式流式传输到PWD用于回放的视频数据；

·PWD向远程助理应用程序提供车辆诊断信息；

·从PWD向车辆发送车辆诊断信息请求，并且响应于发送车辆诊断信息请求，在PWD处从车辆接收车辆诊断信息响应；和/或

·发送车辆诊断信息请求，并使用车辆和PWD之间的短程无线通信 (SRWC)连接接收车辆诊断信息响应。