[发明专利]基于增强现实的远程引导方法和系统

说明书

技术领域

本申请涉及远程引导技术领域，具体涉及一种基于增强现实的远程引导方法和系统。

背景技术

现有的远程引导现场操作的技术方案主要包括两部分，一部分是现场端，一部分是远程端，现场端的操作人员头戴或持有带有光学采集设备的智能终端，把现场环境的视频采集并传送给远程端，远程端的指导人员可以在接收的现场实景视频中做出标注，并实时回传给现场端的操作人员的显示设备上，对操作人员的操作进行较为直观的指导。

在上述的现有技术方案中，存在无法精确标注的问题，远程端的指导人员通常只能直接在视频层上进行直接标注，当现场端的光学采集设备的视角发生变化的时候无法精确标注，又或者当需要标注的部位不处于视频所采集到的设备表面时，无法精确的在需要标注的部位进行标注，进而无法实现直观的引导。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种能对目标任意部位进行精确的标注以实现直观的远程引导的基于增强现实的远程引导方法和系统。

第一方面，本发明提供一种供现场端的操作引导子系统使用的基于增强现实的远程引导方法，所述方法包括：

对目标进行光学采集以得到视频流；

注册虚拟摄像机，生成对应于所述视频流的增强现实信息；

向远程诊断子系统发送所述视频流和所述增强现实信息；

接收所述远程诊断子系统返回的引导信息；其中，所述引导信息根据实时标注所述目标的三维模型的标注信息生成，所述三维模型根据所述增强现实信息创建；

根据所述视频流、所述增强现实信息和引导信息生成引导场景；

显示所述引导场景。

第二方面，本发明提供一种供远程端的远程诊断子系统使用的基于增强现实的远程引导方法，所述方法包括：

接收操作引导子系统发送的视频流和对应于所述视频流的增强现实信息；其中，所述视频流通过对目标进行光学采集得到，所述增强现实信息通过注册虚拟摄像机得到；

根据所述增强现实信息创建所述目标的三维模型；

通过第一视口显示所述视频流，通过第二视口显示所述三维模型；

输入标注于所述三维模型任意部位的标注信息；

根据标注信息实时标注所述三维模型，并生成对应的引导信息；

向所述操作引导子系统发送所述引导信息，以供所述操作引导子系统根据所述视频流、所述增强现实信息和所述引导信息生成并显示引导场景。

第三方面，本发明提供一种基于增强现实的远程引导系统，所述远程引导系统包括操作引导子系统和远程诊断子系统。

所述操作引导子系统包括：

采集单元，用于对目标进行光学采集以得到视频流；

第一处理单元，用于注册虚拟摄像机，生成对应于所述视频流的增强现实信息，根据所述视频流、所述增强现实信息和引导信息生成引导场景；

第一显示单元，用于显示所述引导场景；

第一通信单元，用于向所述远程诊断子系统发送所述视频流和所述增强现实信息，接收所述远程诊断子系统返回的引导信息。

所述远程诊断子系统包括：

第二通信单元，用于接收所述视频流和所述增强现实信息，向所述操作引导子系统发送引导信息；

第二处理单元，用于根据所述增强现实信息创建所述目标的三维模型，根据标注信息实时标注所述三维模型，并生成对应的引导信息；

第二显示单元，用于通过第一视口显示所述视频流，并通过第二视口显示所述三维模型；

输入单元，用于输入标注于所述三维模型任意部位的标注信息。

本发明诸多实施例提供的基于增强现实的远程引导方法和系统通过注册虚拟摄像机，生成对应于对目标采集到的视频流的增强现实信息，从而在远程端构建并显示目标的三维模型，远程端通过输入单元在三维模型的任意部位进行精确的标注，同时生成并向现场端返回引导信息，现场端再根据引导信息生成并显示精确、直观的引导场景，从而最终通过对目标任意部位进行精确标注以实现直观的远程引导；

本发明一些实施例提供的基于增强现实的远程引导方法和系统通过增强现实技术实现目标的三维模型构建，并通过工作流控制根据远程标注所生成的增强引导信息在所生成的引导场景中显示的时序，最终通过引导场景精确实现了直观的引导；

本发明一些实施例提供的基于增强现实的远程引导方法和系统通过视觉跟踪注册、传感器跟踪注册或混合注册等多种虚拟摄像机注册方式保证了根据光学采集的视频流所生成的三维模型的准确性；