[发明专利]一种远程交互系统及方法

说明书

本发明公开了一种远程交互系统及方法，属于增强现实与虚拟现实技术领域。提供更加友好的交互方式，更具浸入式交互体验。实体机器人通过摄像设备采集得到本地场景视频和音频，通过本地计算端发送至远程端；实体机器人在本地计算端控制下模拟远程端用户的移动以及动作。远程计算端与本地计算端通信，远程计算端一方面获取本地场景视频进行虚拟现实显示；另一方面控制动作捕捉设备获取远程端用户的移动信息以及动作信息，发送至本地计算端；同时远程计算端还获取远程端用户的语发送至本地计算端。本地计算端在实体机器人位置处渲染对应远程端用户的虚拟化身、播放用户实时音频；本地端用户通过增强现实设备与远程端用户的虚拟化身进行交互。

技术领域

本发明涉及虚拟现实、增强现实技术领域，具体涉及一种远程交互系统及方法。

背景技术

目前的虚拟现实、增强显示系统，远程交互是一个重要的发展方向，例如目前频繁使用的视频会议、远程操作机器人以及远程呈现机器人等。这些系统多采用传统的远程交互方式，即用户在远程空间中的用户界面上通过键盘、鼠标、操作杆以及图形界面来与本地空间进行交互。这些系统通常是为特定的任务设计并且需要经过训练的操作员进行操作。

目前已有研究基于混合现实的机器人快速示教系统及方法，如申请号为201911144045.5的专利，提供了基于手势识别的输入方法及输入系统，该系统包括实体工业机械臂和混合现实眼镜，实体机械臂包括机械臂本体和控制器，混合现实眼镜内建有3D虚拟机器人，混合现实眼镜与机器人控制器之间通讯连接。该方法包括：使用混合现实眼镜连续捕捉单手或双手的手部位置，并将其映射为虚拟机械臂末端的位置和姿态；将虚拟机器人末端的位置和姿态数据输入机器人逆运动学算法，求解虚拟机器人的关节运动参数；混合现实眼镜利用关节运动参数，同步更新绘制虚拟机器人；将关节运动参数实时传给机械臂控制器，使机械臂本体产生同样的运动，从而完成示教。

该系统不可以远程控制机械臂，只能在同一场景下完成示教；只具有单个机械臂完成手部位置和动作的模拟，只能模拟用户手部的动作，缺少用户其它部位的动作信息；当用户位置移动时，实体机器人手臂的位置不会移动，沉浸感不强；机械臂上只有单个固定的摄像头，用户不能观察到整个场景的信息。

论文Augmented Virtual Teleportation for High-Fidelity Tele-collaboration中记载了一种使用虚拟传送的非对称平台。首先通过360度摄像机捕捉和直播本地主持者的全方位场景，远程虚拟现实旅行者可以在在头盔中观看实时主持者的直播视频体验本地的内容。同时，远程虚拟现实旅行者的动作被捕捉下来，并传送到覆盖在360度摄像头上的3D虚拟化身上，本地增强现实主持者可以在显示屏上看到远程虚拟现实旅行者的动作，完成完整的交互。两者同步进行，在混合现实空间中叠加。

远程的旅行者在该方式中的观察位置是固定的，只能在混合现实空间中同一个位置观察本地的实时全方位场景，并且整个交互过程只有视觉的部分，无法通过机械结构移动本地的物品。

目前缺少一种能够实现本地端与远程端用户更加贴合现实的交互方案，能够提供更具浸入体验的场景以及更加友好的互动。

发明内容

有鉴于此，本发明提供了一种远程交互系统及方法，其一方面能够为远程端用户提供实时的本地场景，提升用户体验，另一方面又能够为本地用户提供可供交互的实体机器人和虚拟化身，使得交互更加友好，更具浸入式交互体验。

为达到上述目的，本发明的技术方案为：一种远程交互系统，包括本地端和远程端；本地端包括本地计算端、实体机器人以及增强现实设备；远程端包括远程计算端、虚拟现实设备以及动作捕捉设备。

实体机器人通过摄像设备采集得到本地场景视频，通过本地计算端发送至远程端；采集得到本地场景音频，通过本地计算端发送至远程端。

实体机器人在本地计算端控制下模拟远程端用户的移动以及动作。