[发明专利]一种虚实结合和人机交互的水下遥控机器人机械手作业系统及方法

权利要求书

1.一种虚实结合和人机交互的水下遥控机器人机械手作业系统，包括母船、计算机、显示器、三维体感相机、水下机器人及机械手和脐带缆；其特征在于：所述计算机、显示器、三维体感相机置于母船作业舱内，水下机器人及机械手通过脐带缆置于水下作业环境中；三维体感相机置于操作者的头部上方，用于捕捉操作者手臂、手抓的肢体动作；显示器用来显示计算机生成的虚拟机械手；计算机捕捉操作者的肢体动作获得操作者的作业意图，并通过虚拟机械手显示在屏幕上，供操作者观作业时观看，计算机将虚拟机械手关节角度通过脐带缆发给对水下实体机械手，驱动水下机械手关节转动，水下实体机械手通过脐带缆将实际关节转角反馈给计算机，让计算机对虚拟机械手关节状态进行实时修正，达到两者一致；脐带缆用来传输计算机和水下机械手之间的命令和数据。

2.根据权利要求1所述虚实结合和人机交互的水下遥控机器人机械手作业系统，其特征在于：

(1)所述计算机中构造一个与水下实体机械手完全相同的虚拟机械手，并显示在屏幕上，供操作者作业时观看；水下实体机械手将其关节实际角度数据通过脐带缆发送给计算机，计算机接收到实体机械手关节角度数据后，将屏幕上显示的虚拟机械手关节角度改变为与实体机械手关节完全一致的状态；

(2)所述操作者看着屏幕上的虚拟机械手，利用其手臂、手抓，对虚拟机械手发出前后伸缩、左右移动、手抓抓握的动作指令，计算机利用三维体感相机捕捉到操作者手臂、手抓的肢体动作，将其动作意图反映到屏幕上的虚拟机械手上，引起虚拟机械手的前后伸缩、左右移动、手抓抓握动作，并引起虚拟机械手关节角度的改变；同时，计算机通过脐带缆将虚拟机械手的关节角度数据发给水下实体机械手，使得水下实体机械手关节转动，实现水下机械手的前后伸缩、左右移动、抓手抓握动作；考虑到水下实际环境有可能限制实体机械手的运动，水下实体机械手将其实际关节转动角度数据通过脐带缆反馈给计算机，计算机接收到实体机械手关节状态数据后，将虚拟机械手关节角度修正为与实体机械手关节一致的状态；

(3)所述操作者看着屏幕上的虚拟机械手，根据作业任务需要，继续对屏幕上虚拟机械手发出肢体交互指令，水下实体机械手继续将关节实际转角数据发给计算机，计算机继续对虚拟机械手关节状态进行修正。

3.一种虚实结合和人机交互的水下遥控机器人机械手作业方法，根据权利要求1所述虚实结合和人机交互的水下遥控机器人机械手作业系统进行操作，其特征在于，操作步骤包括：

第一步，打开设备，包括计算机、显示屏、三维体感相机、水下实体机械手，确保设备正常，显示屏上显示有与水下实体机械手完全一致的三维图形，作为虚拟机械手；

第二步，操作者位于母船作业舱内，眼睛看着屏幕上的虚拟机械手，根据作业任务，做出手臂伸缩、左右移动、抓手抓握等作业意图，位于操作者头部上方的三维体感相机采集操作者手臂、手抓动作数据；

第三步，将操作者的手臂、手抓运动数据传输给计算机，并做一定的滤波处理、分析，计算机接收操作者对机械手发出的前后伸缩、左右移动、手抓抓握的作业意图指令，控制屏幕上的虚拟机械手作出关节改变，同时通过脐带缆将虚拟机械手关节角度发送给水下实体机械手，驱动实体机械手相应关节的转动；

第四步，水下实体机械手将关节实际转角数据通过脐带缆反馈给计算机，计算机根据接收到的水下实体机械手关节转角实际数据，修改屏幕上虚拟机械手关节状态，使虚拟机械手与实体机械手状态保持一致；

第五步，操作者根据作业任务，重复前面第二步～第四步，直至完成作业任务。