[发明专利]一种适合水下遥控机器人人机交互作业的环境融合系统及方法

权利要求书

1.一种适合水下遥控机器人人机交互作业的环境融合系统，包括母船、计算机、显示器、RGB-D相机、三维电子罗盘、水下机器人及机械手、脐带缆，其特征在于：所述RGB-D相机搭载在水下机器人本体舱体上，三维电子罗盘搭载在水下机器人本体舱体内；计算机放置于母船作业舱内，用来接收水下机器人及机械手通过脐带缆发送的机械手关节角度数据、三维电子罗盘机器人姿态数据、场景RGB-D图像；显示器用来显示计算机生成的虚拟机器人及机械手，以及作为背景的作业场景RGB-D图像；脐带缆用来传输计算机和水下机械手之间的命令和数据。

2.根据权利要求1所述适合水下遥控机器人人机交互作业的环境融合系统，其特征在于：

(1)所述母船作业舱内的计算机中构造一个与水下实体机器人及机械手完全相同的虚拟机器人及机械手，并显示在屏幕上，供操作者操作时观看；操作者通过多种方式与屏幕上的虚拟机器人及机械手交互；

(2)所述水下机器人本体舱体上搭载有RGB-D三维相机，获取水下作业环境的二维图像及场景三维点云图像，即RGB-D图像，同时将水下机械臂水平方向伸长到最长极限位置，确保包括前臂及手抓部分的部分机械手在相机视场内，获得部分机械手，即获得前臂及手抓部分，以及场景的二维图像及场景三维点云图像，将其作为背景显示在屏幕上；

(3)所述水下实体机械手将其关节实际角度数据通过脐带缆发给计算机，计算机接收到实体机械手关节状态数据后，将屏幕上显示的虚拟机械手关节角度调整为与实体机械手关节完全一致的状态；

(4)所述计算机整体缩放虚拟机器人及机械手尺寸，使得虚拟机械手与RGB-D图像视场内的包括前臂及手抓部分的部分机械手的图像基本重合叠加；

(5)所述水下机器人本体舱体内搭载有一个三维电子罗盘，获得水下机器人绕X、Y、Z轴的姿态信息，并将姿态数据通过脐带缆发给母船作业舱内的计算机，计算机依据接收到的水下机器人绕X、Y、Z轴的姿态信息调整屏幕上虚拟机器人的姿态；

(6)所述水下实体机械手继续将其关节实际角度数据通过脐带缆发给计算机，计算机接收到实体机械手关节状态数据后，将屏幕上显示的虚拟机械手关节角度调整为与实体机械手关节完全一致的状态；

(7)所述水下机器人本体舱体上搭载的RGB-D三维相机，获得机械手作业前方场景的二维图像及场景三维点云图像，并将RGB-D图像通过脐带缆发给母船作业舱内的计算机，并将其作为背景显示在屏幕上；

(8)所述计算机提取场景中某一物体特征点的三维坐标数据，该三维坐标是场景中某一物体特征点相对于水下机器人的坐标，通过坐标变换得到水下机器人本体上刚体中心点相对于场景中该物体特征点的坐标；根据该变换矩阵可以确定虚拟机器人刚体中心点在水下场景RGB-D图像中相对同一物体特征点的坐标；计算机根据得到的坐标，将虚拟机器人刚体中心点平移到该坐标点位置。

3.一种适合水下遥控机器人人机交互作业的环境融合方法，采用根据权利要求1所述适合水下遥控机器人人机交互作业的环境融合系统进行操作，其特征还在于，作业步骤包括：

第一步：打开设备，包括计算机、显示屏、水下实体机器人及机械手、RGB-D相机、三维电子罗盘，确保设备正常，显示屏上显示有与水下实体机器人及机械手完全一致的虚拟机器人及机械手；操作者可通过多种方式与该虚拟机器人及机械手交互；

第二步：将水下机械臂水平方向伸长到最长位置，水下机器人本体舱体上搭载有RGB-D三维相机，获得包括前臂及手抓部分的部分机械手及场景的二维图像及场景三维点云图像，并将RGB-D图像通过脐带缆发给母船作业舱内的计算机，并将其作为背景显示在屏幕上；

第三步：水下实体机械手将其关节实际角度数据通过脐带缆发给计算机，计算机接收到实体机械手关节状态数据后，将屏幕上显示的虚拟机械手关节角度调整为与实体机械手关节完全一致的状态；

第四步：计算机整体缩放虚拟机器人及机械手尺寸，使得虚拟机械手与RGB-D图像视场内的包括前臂及手抓部分的部分机械手图像基本重合叠加；

第五步：水下机器人本体舱体内搭载的三维电子罗盘，将水下机器人绕X、Y、Z轴的姿态数据，通过脐带缆发给母船作业舱内的计算机，计算机依据接收到的水下机器人绕X、Y、Z轴的姿态数据，调整屏幕上虚拟机器人的姿态；

第六步：水下实体机械手继续将其关节实际角度数据通过脐带缆发给计算机，计算机接收到实体机械手关节状态数据后，将屏幕上显示的虚拟机械手关节角度调整为与实体机械手关节完全一致的状态；

第七步：水下机器人本体舱体上搭载的RGB-D三维相机，继续获得机械手作业前方场景的二维图像及场景三维点云图像，并将RGB-D图像通过脐带缆发给母船作业舱内的计算机，并将其作为背景显示在屏幕上；

第八步：计算机提取场景中某一物体特征点的三维坐标数据，该三维坐标是场景中某一物体特征点相对于水下机器人的坐标，通过坐标变换得到水下机器人本体上刚体中心点相对于场景中该物体特征点的坐标；根据该变换矩阵可以确定虚拟机器人刚体中心点在水下场景RGB-D图像中相对同一物体特征点的坐标；计算机根据得到的坐标，将虚拟机器人刚体中心点平移到该坐标点位置；

作业过程中，重复上面第五步～第八步，确保虚拟机器人及机械手始终与作业环境RGB-D图像相融合。