[发明专利]一种基于AR的远程协助系统的交互方法、系统和存储介质

说明书

本发明涉及远程协助技术领域，具体涉及一种基于AR的远程协助系统的交互方法、系统和存储介质，其中方法包括实时获取待协助现场的第一图像信息并将第一图像信息发送至专家端；将专家标注后的标注点的位置信息实时返回给求助端；求助端获取标注点处的深度信息以及求助端相对于上一时刻的移动信息，根据深度信息和移动信息计算标注点的待调整量；根据待调整量实时更新标注点在求助端和专家端画面上的位置。采用该交互方法以消除由于用户头部晃动而引起的标注点在用户端显示时与实际标注位置产生的偏移，该方法保证了远程协助时标注的准确性，提高了远程协助的效果。

技术领域

本发明涉及远程协助技术领域，具体涉及一种基于AR的远程协助系统的交互方法、系统和存储介质。

背景技术

现在AR技术已经广泛的应用于机械组装、设备维修和结构展示等领域，尤其是应用于机械组装和设备维修时，有时候现场无法解决的技术问题，往往需要求助于远程的专家，这时候就需要采用远程协助系统，现有的远程协助系统往往是通过获取现场的二维画面进行截图，并将该画面截图发送给远程的专家，专家在截图上完成标注后，再将截图发送给现场人员，以达到远程协助的目的。这种采用截图标注的方式虽然也能达到远程协助的目的，但是效果不够理想，因为无法实时性的、多互动性的进行指导。另外，如果采用视频的方式进行指导，专家直接在动态图画面上进行标注，由于现场人员头部晃动，引起佩戴的AR眼镜会晃动，加上数据传输的延迟性，则专家的标注位置传回到求助端时和实际的标注位置也会发生移动，无法达到准确标注的作用。

发明内容

为了解决现有技术中由于现场人员的佩戴的AR眼镜的晃动导致远程协助时标注的位置发生移动，导致标注不准确的技术问题。本申请提供以下技术方案：

一种基于AR的远程协助系统的交互方法,包括：

实时获取待协助现场的第一图像信息并将所述第一图像信息发送至专家端；

将专家完成标注后的标注点的位置信息实时返回给求助端；

求助端获取所述标注点处的深度信息以及所述求助端相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量；

根据所述待调整量实时更新所述标注点在求助端和专家端显示的第二图像信息上的位置。

其中，所述获取所述标注点处的深度信息以及所述求助端相对于上一时刻的移动信息，根据所述深度信息和移动信息计算标注点的待调整量，包括：

获取所述标注点处的深度值；

获取所述求助端当前时刻相对于发送所述第一图像信息时刻的位移量和转动量；

根据所述位移量、转动量以及深度值计算所述标注点在所述第二图像信息上相应的待调整量。

其中，所述根据所述待调整量实时更新所述标注点在求助端和专家端显示的第二图像信息上的位置，包括：

所述待调整量包括所述标注点在第二图像信息上的待调整位移，根据所述待调整位移结合所述第二图像信息的像素间距得到待调整像素值，根据所述待调整像素值调整所述标注点在第二图像信息上的位置。

其中，所述获取所述标注点处的深度信息，包括：

采用深度传感器、红外测距传感器、TOF相机、结构光相机中的一种或多种获取所述标注点处的深度值。

进一步的，还包括：

获取所述待调整像素值后，将所述待调整像素值实时发送给专家端，并根据所述待调整像素值实时调整所述求助端和专家端的第二图像信息上所述标注点的位置。

一种基于AR的远程协助系统的交互系统，包括第一用户设备和第二用户设备；