[发明专利]一种基于hololens眼镜的专家远程指导系统及实现方法

摘要

本发明公开了一种基于hololens眼镜的专家远程指导系统及实现方法，包括hololens智能眼镜、无线路由器、服务器、终端设备，hololens智能眼镜将采集的音视频通过服务器转发至终端设备，专家在终端设备上输入指导内容，终端设备记录下指导内容，并将指导内容通过服务器转发至hololens智能眼镜，并在视野中显示，通过喇叭播放出专家的指导语音；后台终端自动生成维修记录视频文件，并上传到服务器中。本发明可以将远程标注的信息准确的定位到空间位置上，使专家远程指导更加形象，提高检修效率，提高检修准确度；可以通过语音、手势等方式与hololens眼镜交互，解放双手；维修记录能够保存，便于日后追踪。 1

主权项

1.一种基于hololens眼镜的专家远程指导实现方法，其特征在于，包括以下步骤：

(1)现场检修人员戴上hololens智能眼镜，hololens智能眼镜连接无线路由器WiFi；

(2)利用hololens智能眼镜上的摄像头对当前检修场景进行采集，利用hololens智能眼镜上的麦克风对现场声音进行采集；

(3)将采集到的音视频通过编码器编码并转换成音视频流，hololens智能眼镜将音视频流发送至服务器；

(4)服务器接收到音视频流后，将音视频流发送至远程专家的终端设备上；

(5)终端设备接收到音视频流，对音视频流进行处理，并播放音视频；

(6)专家通过终端设备在视频上对现场实景的位置进行标注，并与现场检修人员进行语音通话或发送视频给现场检修人员，终端设备记录所标注的位置、图形与文字；终端设备将位置、图形、文字信息转换成数组，将语音及视频信息转换成音视频流，再通过网络发送至服务器，服务器再将标注的位置、图形、文字、语音及视频信息转发至hololens智能眼镜；专家标注的整个指导过程通过终端设备进行录像；

(7)hololens智能眼镜收到标注的位置、图形、文字、语音及视频信息后，将数据进行转换，并按照标注将图形绘制到空间相对应的位置上，并将接收到的文字、视频显示在hololens智能眼镜视野中，语音通过hololens智能眼镜的喇叭播放出来；

(8)检修指导结束后，后方PC机自动将现场视频、专家指导过程录屏并保存为维修记录视频文件，并将维修记录视频文件上传至服务器存储。

2.根据权利要求1所述的基于hololens眼镜的专家远程指导实现方法，其特征在于，所述步骤(6)中，终端设备为PC机、手机、平板电脑中的一种或多种，专家通过鼠标在计算机显示屏上绘制图形，或在手机、平板电脑的触摸屏上绘制图形。

3.根据权利要求1所述的基于hololens眼镜的专家远程指导实现方法，其特征在于，步骤(6)、(7)将专家绘制的图形在hololens智能眼镜上显示的具体方法包括：hololens智能眼镜与终端设备初始时都以hololens智能眼镜的起始坐标为原点，现场检修人员佩戴hololens智能眼镜时，hololens智能眼镜定时将当前眼镜的位置和观察方向同步到终端设备，终端设备会实时更新当前视野的位置和方向，当专家在终端设备屏幕上绘制图形时，终端设备上的指导软件记录下图形中关键点的坐标，并定时将关键点坐标发送到远程hololens智能眼镜，hololens智能眼镜收到关键点坐标后，在视野前的虚拟屏幕上按照关键点坐标绘制图形点，形成专家在终端设备上绘制的图形。

4.一种基于hololens眼镜的专家远程指导系统，其特征在于，包括hololens智能眼镜、无线路由器、服务器、终端设备，所述hololens智能眼镜、终端设备均通过无线路由器与服务器之间进行数据传输；

所述hololens智能眼镜包括处理器、存储器、摄像头、耳麦，所述存储器中存储有计算机程序，所述程序被处理器执行时能够实现以下步骤：将hololens智能眼镜采集的音视频数据传输至服务器；接收服务器传送过来的终端设备标注的位置、图形、文字、语音和视频；按照标注的位置将图形绘制到空间相对应的位置上，将文字、视频显示在hololens智能眼镜视野中，通过hololens智能眼镜的喇叭播放出语音；

所述服务器包括处理器、存储器，所述存储器中存储有计算机程序，所述程序被处理器执行时能够实现以下步骤：接收hololens智能眼镜传输过来的音视频数据，并转发至终端设备；接收终端设备传输过来的标注位置、图形、文字、语音、视频，并转发至hololens智能眼镜；

所述终端设备包括处理器、存储器，所述存储器中存储有计算机程序，所述程序被处理器执行时能够实现以下步骤：接收服务器传送过来的音视频信号，并在显示屏上播放；记录鼠标或触摸屏输入的标注位置、图形及文字，采集视频或语音，并将标注位置、图形、文字、语音及视频信号传输至服务器。

5.根据权利要求4所述的基于hololens眼镜的专家远程指导系统，其特征在于，终端设备为PC机、手机、平板电脑中的一种或几种。