[发明专利]机器人机械手控制方法、装置及系统

权利要求书

1.一种机器人机械手控制方法，其特征在于，包括：

视频获取分析步骤：

通过双目相机获取双目视频；

在双目视频中识别目标设备并对目标设备进行自动跟踪，建立当前环境的三维模型，获取目标设备的姿态，以及目标设备与机械手的相对坐标；

通过全景摄像头实时获取当前环境的全景视频；

力反馈控制步骤：

根据当前环境的三维模型、当前环境的全景视频、目标设备的姿态以及目标设备与机械手的相对坐标，通过力反馈控制装置对机械手的运动进行控制；

通过力反馈控制装置获取机械手的力反馈数据；

根据力反馈数据，通过力反馈控制装置对机械手的运动进行控制。

2.根据权利要求1所述的机器人机械手控制方法，其特征在于，所述在双目视频中识别目标设备并对目标设备进行自动跟踪，建立当前环境的三维模型，获取目标设备的姿态，以及目标设备与机械手的相对坐标的步骤，具体为：

在双目视频中识别目标设备并对目标设备进行自动跟踪；

定位目标设备的关键点；

重建关键点在相机坐标系中的位置；

根据双目视频中前后若干帧关键点在相机坐标系中的点云信息，恢复机械手运动的位置及姿态；

根据关键点在相机坐标系中的位置以及机械手运动的位置及姿态，建立当前环境的三维模型，获取目标设备的姿态，以及目标设备与机械手的相对坐标。

3.根据权利要求1或2所述的机器人机械手控制方法，其特征在于，识别目标设备的方式为模板匹配、特征点匹配和机器学习中的一种或多种。

4.一种机器人机械手控制装置，其特征在于，包括：

视频获取分析模块，用于：

通过双目相机获取双目视频；

在双目视频中识别目标设备并对目标设备进行自动跟踪，建立当前环境的三维模型，获取目标设备的姿态，以及目标设备与机械手的相对坐标；

通过全景摄像头实时获取当前环境的全景视频；

力反馈控制模块，用于：

根据当前环境的三维模型、当前环境的全景视频、目标设备的姿态以及目标设备与机械手的相对坐标，通过力反馈控制装置对机械手的运动进行控制；

通过力反馈控制装置获取机械手的力反馈数据；

根据力反馈数据，通过力反馈控制装置对机械手的运动进行控制。

5.根据权利要求4所述的机器人机械手控制装置，其特征在于，所述视频获取分析模块用于：

在双目视频中识别目标设备并对目标设备进行自动跟踪；

定位目标设备的关键点；

重建关键点在相机坐标系中的位置；

根据双目视频中前后若干帧关键点在相机坐标系中的点云信息，恢复机械手运动的位置及姿态；

根据关键点在相机坐标系中的位置以及机械手运动的位置及姿态，建立当前环境的三维模型，获取目标设备的姿态，以及目标设备与机械手的相对坐标。

6.一种机器人机械手控制系统，其特征在于，包括：

权利要求4或5所述的机器人机械手控制装置；

双目相机，用于获取双目视频；

全景摄像头，用于实时获取当前环境的全景视频；

力反馈控制装置，用于获取机械手的力反馈数据，以及对机械手的运动进行控制。

7.根据权利要求6所述的机器人机械手控制系统，其特征在于，所述力反馈控制装置包括线上机械手力检测模块、通信模块、人工操作模块和线下力反馈实现模块；

线上机械手力检测模块获取机械手的力反馈数据，通过通信模块发送到机器人机械手控制装置；

机器人机械手控制装置通过人工操作模块控制线下力反馈实现模块，实现对机械手运动的控制。

8.根据权利要求7所述的机器人机械手控制系统，其特征在于，所述线上机械手力检测模块为全桥、多维力传感器和编码器中的一种或多种。

9.根据权利要求7所述的机器人机械手控制系统，其特征在于，所述人工操作模块为旋转摆手、操控杆和机械手中的一种或多种。

10.根据权利要求7所述的机器人机械手控制系统，其特征在于，所述线下力反馈实现模块为电缸实现模块、液压实现模块、电磁力实现模块和震动实现模块中的一种或多种。