[发明专利]基于混合现实的机械臂遥操作系统及交互界面构建方法

权利要求书

1.基于混合现实的机械臂遥操作系统，包括用于操作者（1）获取操作信息的本地端和用于机械臂（9）响应所述操作信息并执行对应操作的远程端，其特征在于，所述本地端由操纵手杆（2）、VR头显（3）、宿主机（4）组成，所述远程端由目标机（5）、控制箱（6）、双目相机（7）、云台（8）组成，所述VR头显由操作者佩戴，所述操纵手杆由操作者控制，所述宿主机分别与VR头显和操纵手杆电性连接，所述宿主机还分别与目标机和双目相机无线通信连接，所述控制箱分别与目标机、机械臂和云台电性连接，所述VR头显和双目相机内均设有惯性测量单元，所述双目相机设置在云台上，所述宿主机借助双目相机将获取的远程端的现实场景和真实机械臂、及本地端的虚拟机械臂均导入VR头显中构建出混合现实交互界面；

混合现实交互界面的构建方法为：

1）调整云台，使双目相机处于水平；

2）在远程端以双目相机为原点确定出真实机械臂相对于双目相机的位姿P；

3）启动所述基于混合现实的机械臂遥操作系统；

4）系统启动初始，宿主机将虚拟机械臂导入VR头显的现实画面，并利用双目视觉使虚拟机械臂相对于操作者视点的相对位姿为P，即使得虚拟机械臂与真实机械臂处于同一位置；

5）随着操作者头部的运动，安装有双目相机的云台也发生对应的跟随运动；

6）宿主机根据双目相机的IMU数据，实时调整虚拟机械臂相对于操作者视点的相对位姿，使虚拟机械臂与真实机械臂始终处于同一位置；

机械臂遥操作的运动控制算法为：T=T₁+T₂+T₃；其中：T为机械臂遥操作存在的时延，T₁为本地端的操纵手杆位姿信息传递给远程端的目标机时存在的通信时延，T₂为目标机根据接收到的位姿信息后通过控制箱将机械臂调整到对应姿态时存在的控制时延，T₃为远程端的双目相机将机械臂的运动画面传输回本地端的宿主机时存在的通信时延。

2.根据权利要求1所述的基于混合现实的机械臂遥操作系统，其特征在于，所述无线通信连接为网络、WIFI、蓝牙中的一种。

3.根据权利要求1所述的基于混合现实的机械臂遥操作系统，其特征在于，所述操纵手杆采用游戏手柄或航模遥控杆，并在所述操纵手杆上设置对所述机械臂的控制按键组。

4.基于混合现实的交互界面构建方法，其特征在于，包括：

1）调整云台，使双目相机处于水平；

2）在远程端以双目相机为原点确定出真实机械臂相对于双目相机的位姿P；

3）启动如权利要求1-3任一项所述的基于混合现实的机械臂遥操作系统；

4）系统启动初始，宿主机将虚拟机械臂导入VR头显的现实画面，并利用双目视觉使虚拟机械臂相对于操作者视点的相对位姿为P，即使得虚拟机械臂与真实机械臂处于同一位置；

5）随着操作者头部的运动，安装有双目相机的云台也发生对应的跟随运动；

6）宿主机根据双目相机的IMU数据，实时调整虚拟机械臂相对于操作者视点的相对位姿，使虚拟机械臂与真实机械臂始终处于同一位置；

所述机械臂遥操作的运动控制算法为：T=T₁+T₂+T₃；其中：T为机械臂遥操作存在的时延，T₁为本地端的操纵手杆位姿信息传递给远程端的目标机时存在的通信时延，T₂为目标机根据接收到的位姿信息后通过控制箱将机械臂调整到对应姿态时存在的控制时延，T₃为远程端的双目相机将机械臂的运动画面传输回本地端的宿主机时存在的通信时延。