[发明专利]一种基于增强现实的远程视频交互系统以及方法

说明书

本发明涉及一种基于增强现实的远程视频交互方法，在支持增强现实的移动终端(手机、平板电脑)上，基于AR图像识别方法与空间定位技术，自主开发的一种软件方法，在传统的视频通讯基础上添加了增强现实的模块，联系单一专家或多方专家进行远程视频交互的方法，允许请求帮助的用户与专家在两种移动终端对视频对象进行精准的圈画标记，对每一个圈画都进行序列标记，同步显示在发起者和应答者双方的多人移动终端上，方便快速精准的描述问题和定位问题，大幅度提升远程交互的成功率以及降低远程运维的沟通成本。

技术领域

本发明涉及一种基于增强现实的远程视频交互系统以及方法，属于远程视频交互技术领域。

背景技术

随着互联网技术的快速发展，基于网络技术的远程交互方式在越来越多的领域被广泛应用。手机、电脑等电子设备的处理器不断发展，使得增强现实(Augmented Reality，AR)的应用越来越被人们所接受。将增强现实技术用于远程交互领域，是一种全新的远程沟通、交流、生活工作方式。

增强现实AR技术是将计算机生成的虚拟信息(文字，图片，三维模型动画等)叠加显示在真实世界中的技术，它提高了用户对现实世界感知力，改变了用户观察世界的方式。AR技术结合三维跟踪技术，通过计算机计算出虚拟信息在真实环境中的位置并显示在输出设备中(如手机屏幕、智能眼镜等)，近年来被广泛应用于工业、军事、医疗、教育、娱乐等多个领域。

1.跟踪注册技术

对于AR来说就是要实时、准确地获取当前摄像机位置和姿态，再计算出虚拟物体在真实世界中的位置，最后进行虚实融合并显示在屏幕上。其中摄像机位置、姿态的获取方法即为跟踪注册技术，可以分为以下3类：

1)基于传感器的跟踪注册技术：主要通过硬件传感器，如磁场传感器、惯性传感器、超声波传感器、光学传感器、机械传感器等对摄像机进行跟踪定位。这类传感器技术算法简单，获取速度快，但设备较为昂贵，且容易受外界环境的影响。

2)基于计算机视觉的跟踪注册技术：是通过分析处理拍摄到的图像数据信息识别和定位真实场景环境，进而确定现实场景与虚拟信息之间的对应关系。该方法一般只需要摄像机拍摄到的图像信息(如人工标志或自然特征)，对硬件要求较低，对图像识别算法速度和精度要求高

3)综合视觉与传感器的跟踪注册技术是前两者的结合，例如苹果公司推出的ARKit和Google公司推出的ARCore，就利用了传感器加视觉跟踪的方式在移动端实现了比较好的效果。

2.显示技术：

显示技术是增强现实系统中的重要组成部分，目前，常用的显示设备有头戴式显示设备、计算机屏幕显示设备(投影显示设备)及手持式移动显示设备等

1)头戴式显示设备主要是光学透视式头盔显示器，内部集成了中央处理器(CPU)、图形处理器(GPU)和全息处理器(HPU)，根据光的反射原理，通过多片光学镜片的组合，为用户产生虚拟物体和真实场景相互融合的画面，例如：Hololens。

2)计算机显示屏(投影显示设备)作为AR输出设备，通常体积较大，浸感较弱，多用于室内或大范围的多用户场景中。

3)手持式移动显示设备如智能手机，Pad等允许用户手持的设备。通常体积小、重量轻便于携带，但沉浸感较弱且硬件性能参差不齐影响用户的体验。

3.人机交互技术

目标是让用户能够在现实世界中感受到近乎真实的虚拟物体，人机交互方式的好坏很大程度上影响了用户的体验。一般来说，传统的交互方式主要有键盘、鼠标、触控设备等，近年来还出现了一些更自然的基于语音、触控、眼动、手势和体感的交互方式。

1)基于传统的硬件设备的交互技术，如鼠标、键盘、手柄这类方法简单易于操作，但与用户交互不够自然，降低了沉浸感。