[发明专利]基于混合现实的机械臂遥操作系统及交互界面构建方法

说明书

本发明的一种基于混合现实的机械臂遥操作系统及交互界面构建方法，属于混合现实技术和机器人技术领域，本系统包括：本地端，由操纵手杆、VR头显、宿主机组成；远程端，由目标机、控制箱、双目相机、云台组成；VR头显由操作者佩戴，操纵手杆由操作者控制，宿主机分别与VR头显和操纵手杆电性连接，宿主机还分别与目标机和双目相机无线通信连接，控制箱分别与目标机、机械臂和云台电性连接，VR头显和双目相机内均设有惯性测量单元，宿主机借助双目相机将获取的远程端的现实场景和真实机械臂、及本地端的虚拟机械臂均导入VR头显中构建出混合现实交互界面。本发明改善了机械臂操作滞后，人机交互界面不直观的问题，有利于完成更复杂的工作，提高了工作效率。

技术领域

本发明属于混合现实技术和机器人技术领域，具体涉及一种基于混合现实的机械臂遥操作系统及交互界面构建方法。

背景技术

混合现实技术(MR)是通过在现实场景中呈现虚拟场景的信息，并在现实场景，虚拟场景和操作者之间产生信息交互，是一种以增强操作者真实感和临场感为目的的人机交互技术。

人机交互设计和遥操作在机器人技术领域中占据着重要的作用，人机交互是指人与机器人之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与机器人之间的信息交换过程。遥操作是指对机器人进行远程操作，在地震救援、海底资源勘探、核物质清理等危险复杂的场景中应用非常广泛。而在对机器人的实际遥操作过程中，由于信息传输存在时延、机械臂控制算法不完善等原因，往往存在机械臂操作滞后、人机交互界面不直观等问题，带来了操作的不适感，严重影响了操作者的工作效率。

发明内容

为改善机械臂操作滞后和人机交互界面不直观的问题，本发明提出一种能预测机械臂未来运动，并通过混合现实技术直接呈现给操作者的机械臂遥操作系统及交互界面构建方法。

为实现上述目的及其他相关目的，本发明拟公开一种基于混合现实的机械臂遥操作系统，包括用于操作者获取操作信息的本地端和用于机械臂响应所述操作信息并执行对应操作的远程端，其特征在于，所述本地端由操纵手杆、VR头显、宿主机组成，所述远程端由目标机、控制箱、双目相机、云台组成，所述VR头显由操作者佩戴，所述操纵手杆由操作者控制，所述宿主机分别与VR头显和操纵手杆电性连接，所述宿主机还分别与目标机和双目相机无线通信连接，所述控制箱分别与目标机、机械臂和云台电性连接，所述VR头显和双目相机内均设有惯性测量单元，所述双目相机设置在云台上，所述宿主机借助双目相机将获取的远程端的现实场景和真实机械臂、及本地端的虚拟机械臂均导入VR头显中构建出混合现实交互界面。

具体的，操作者佩戴VR头显在本地端控制操纵手杆，宿主机接收操纵手杆的位姿信息，并通过网络把控制信号发送给远程端的目标机；目标机将接收到的位姿信息进行处理，进而把控制信号传送给控制箱，控制箱把相应的控制信号传送给机械臂，机械臂执行相应的动作；同时，本地端的宿主机通过远程端的双目相机获取机械臂的运动以及机械臂所在的场景；并利用双目视觉，宿主机将从双目相机中获取的远程端现实场景映射到操作者佩戴的VR头显中，使得操作者可以身临其境的看到机械臂控制场景。同时，VR头显中存在惯性测量单元 (IMU)，用于捕捉操作者头部的运动，并将运动信息传输给宿主机；宿主机将接收到的操作者头部运动信息通过网络传输给目标机，目标机将接收到的信息进行处理，通过控制箱将控制信号传送给云台，使得安装有双目相机的云台实现对操作者头部的运动跟踪；宿主机借助混合现实技术在VR头显中构建混合现实交互界面。

进一步，所述无线通信连接为网络、WIFI、蓝牙中的一种。

进一步，所述操纵手杆采用游戏手柄或航模遥控杆，并在所述操纵手杆上设置对所述机械臂的控制按键组。

进一步，所述混合现实交互界面为虚拟机械臂与真实机械臂处于同一位置。