[发明专利]一种适合水下遥控机器人人机交互作业的环境融合系统及方法

说明书

本发明提供一种适合水下遥控机器人人机交互作业的环境融合系统及方法。本系统包括母船、计算机、显示器、RGB‑D相机、三维电子罗盘、水下机器人及机械手和脐带缆。本方法在计算机中构造一个与水下实体机器人及机械手完全相同的虚拟机器人及机械手，并显示在屏幕上。水下机器人本体舱体上搭载有RGB‑D三维相机，获取水下作业环境的二维图像及场景三维点云RGB‑D图像，将其作为背景显示在屏幕上。本发明在人机交互作业过程中，不断调整虚拟机器人的位置、姿态及机械手关节角度，使得虚拟机器人及机械手始终与水下作业环境RGB‑D图像融合，实现对水下遥控机器人的人机交互控制。

技术领域

本发明属于水下机器人作业领域，具体地说，涉及水下遥控机器人(RemotelyOperated Vehicle，简称ROV)机械手作业控制，更具体地说，涉及一种适合水下遥控机器人人机交互作业时的环境融合系统及方法。

技术背景

水下机器人种类很多，但作业型水下机器人绝大多数都是ROV(RemotelyOperated Vehicle)，其机器人本体舱体上搭载机械手作为通用作业工具。目前，ROV机械手的操控作业方式由位于母船上的操作人员根据脐带缆传输上来的视频图像进行遥控操作，操控作业方式有开关式和主从式两种。目前广泛采用的是主从式，它由主手和从手组成，主手是母船上操作人员手中的运动控制器，从手是水中的作业机械手。一般主手是从手的缩小比例模型，其上每个关节与从手一一对应，以方便对从手相应关节的操作。这种主从遥控作业方式只注重控制功能的实现，存在操作时需要操作员特别集中精力，通常让操作人员感觉疲劳紧张，作业效率和作业精度降低等问题。将与水下机器人及机械手完全一致的虚拟机器人及机械手呈现在操作人员面前的屏幕上，操作人员通过手臂、手抓肢体动作等多种交互手段与屏幕上的虚拟机械手发生交互，操控水下机械手的作业，可降低操作人员的操作难度，提高作业效率和作业精度。这其中，如何将虚拟机器人及机械手融入到水下实际环境之中，使得操作人员在与虚拟机械手交互过程中，了解到其与实际环境，包括作业对象之间的关系，是确保人机交互作业的关键。

本发明的一种适合水下遥控机器人人机交互作业的环境融合方法，是一种母船作业舱内的操作人员与水下实体遥控机器人所对应的虚拟机器人及机械手交互作业时，将虚拟机器人及机械手与水下作业环境相融合的方法，确保水下遥控机器人人机交互作业得以实现。

发明内容

为确保操作人员与水下实体遥控机器人所对应的虚拟机器人及机械手交互作业得以实现，本发明的目的在于提供一种适合水下遥控机器人人机交互作业的环境融合系统及方法。

为了实现上述目的，本发明的构思是：

(1)母船作业舱内的计算机中构造一个与水下实体机器人及机械手完全相同的虚拟机器人及机械手，并显示在屏幕上，供操作者操作时观看。操作者可以通过多种方式与屏幕上的虚拟机器人及机械手交互。

(2)水下机器人本体舱体上搭载有RGB-D三维相机，获取水下作业环境的二维图像及场景三维点云图像，即RGB-D图像，同时将水下机械臂水平方向伸长到最长极限位置，确保部分机械手(前臂及手抓部分)在相机视场内，获得部分机械手(前臂及手抓部分)及场景的二维图像及场景三维点云图像，将其作为背景显示在屏幕上。

(3)水下实体机械手将其关节实际角度数据通过脐带缆发给计算机，计算机接收到实体机械手关节状态数据后，将屏幕上显示的虚拟机械手关节角度调整为与实体机械手关节完全一致的状态。

(4)计算机整体缩放虚拟机器人及机械手尺寸，使得虚拟机械手与RGB-D图像视场内的部分机械手(前臂及手抓部分)图像基本重合叠加。

(5)水下机器人本体舱体内搭载有一个三维电子罗盘，获得水下机器人绕X、Y、Z轴的姿态信息，并将姿态数据通过脐带缆发给母船作业舱内的计算机，计算机依据接收到的水下机器人绕X、Y、Z轴的姿态信息调整屏幕上虚拟机器人的姿态。