[发明专利]基于多模态融合的机械手主动抓取装置及方法

说明书

本发明提供了一种基于多模态融合的机械手主动抓取装置及方法，其中，所述基于多模态融合的机械手主动抓取装置包括基座(1)、机械臂(2)、激光雷达(3)、双目视觉系统(4)、机械手(5)，所述机械臂(2)的一端、激光雷达(3)分别紧固安装在基座(1)上，所述双目视觉系统(4)、机械手(5)分别紧固安装在机械臂的另一端；所述基于多模态融合的机械手主动抓取方法包括如下步骤：步骤1：感知待抓取物体，获得感知信息；步骤2：根据所述感知信息，定位待抓取物体，获得定位信息；步骤3：根据所述定位信息，抓取待抓取物体。本发明充分考虑了太空操作的复杂环境，有效地提高了对运动物体抓取的能力，具有广泛的应用前景。

技术领域

本发明涉及空间机器人定位和抓取技术领域，具体地涉及基于多模态融合的机械手主动抓取装置及方法，尤其是一种融合CMOS相机双目视觉、激光雷达和触觉感知的微重力环境下机器人定位和主动抓取技术。

背景技术

当前世界主要国家航天领域加速发展，为探索太空开展的生命科学实验和空间作业日益增多。传统的太空活动开展依赖于设备预设指令、空间站工作人员直接操作或地面工作人员遥操作，缺乏与环境间的自动实时交互和学习过程，导致难以实现微重力环境下运动物体抓取等复杂作业任务。现有的微重力环境下实现对运动物体自动抓取作业相关研究主要集中依靠触觉感知结合被动顺应式机构以克服运动物体抓取过程的冲击力来提高抓取成功率和可靠性，对综合利用触觉、视觉等多模态信息融合实现机械手主动抓取操作研究较少，其难点在于恶劣太空环境对传感器造成的扰动以及如何基于不准确传感信息实现目标运行轨迹的预测等，因此综合利用多模态传感器信息间相关性与互补性对提高抓取效率和稳健性具有重要的意义。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于多模态融合的机械手主动抓取装置及方法。

根据本发明的一个方面，提供的一种基于多模态融合的机械手主动抓取装置，包括基座、机械臂、激光雷达、双目视觉系统、机械手；其中，所述机械臂的一端、激光雷达分别紧固安装在基座上，所述双目视觉系统、机械手分别紧固安装在机械臂的另一端。

优选地，所述基座内封装有用于多模态信息融合、机械臂运动规划和抓取控制任务的深度学习图像处理器芯片。

优选地，所述双目视觉系统以机械臂为轴线对称安装在机械臂的另一端。

优选地，所述机械手内部安装有用于实时反馈抓取状态、预测物体位姿、控制夹紧力的触觉传感器。

根据本发明的另一个方面，提供一种基于多模态融合的机械手主动抓取方法，包括如下步骤：

步骤1：感知待抓取物体，获得感知信息；

步骤2：根据所述感知信息，定位待抓取物体，获得定位信息；

步骤3：根据所述定位信息，抓取待抓取物体。

优选地，所述感知信息包括雷达图像、视觉图像，所述步骤1包括如下步骤：

步骤1.1：通过激光雷达获取待抓取物体的雷达图像；

步骤1.2：通过双目视觉系统获取待抓取物体的视觉图像。

优选地，所述步骤2包括如下步骤：

步骤2.1：对雷达图像和视觉图像进行信息融合，获取待抓取物体状态信息；

步骤2.2：根据融合雷达图像和视觉图像后获得的待抓取物体状态信息，预测待抓取物体运行姿态和/或位置信息；

步骤2.3：根据所述预测待抓取物体运行姿态和/或位置信息，判断待抓取物体是否进入抓取范围：若进入抓取范围，则将预测待抓取物体运行姿态和/或位置信息作为所述定位信息，进入步骤3继续执行；若未进入抓取范围，则返回步骤2.1继续执行。

优选地，所述步骤3包括如下步骤：