[发明专利]基于多模态融合的机械手主动抓取装置及方法

权利要求书

1.一种基于多模态融合的机械手主动抓取方法，其特征在于，包括如下步骤：

步骤1：感知待抓取物体，获得感知信息；

步骤2：根据所述感知信息，定位待抓取物体，获得定位信息；

步骤3：根据所述定位信息，抓取待抓取物体；

所述感知信息包括雷达图像、视觉图像，所述步骤1包括如下步骤：

步骤1.1：通过激光雷达(3)获取待抓取物体的雷达图像；

步骤1.2：通过双目视觉系统(4)获取待抓取物体的视觉图像；

所述步骤2包括如下步骤：

步骤2.1：对雷达图像和视觉图像进行信息融合，获取待抓取物体状态信息；

步骤2.2：根据融合雷达图像和视觉图像后获得的待抓取物体状态信息，预测待抓取物体运行姿态和/或位置信息；

步骤2.3：根据所述预测待抓取物体运行姿态和/或位置信息，判断待抓取物体是否进入抓取范围：若进入抓取范围，则将预测待抓取物体运行姿态和/或位置信息作为所述定位信息，进入步骤3继续执行；若未进入抓取范围，则返回步骤2.1继续执行；

所述双目视觉系统(4)用于识别待抓取物体类型并判断待抓取物体与机械手(5)的空间位置关系；

所述激光雷达(3)用于识别待抓取物体轮廓并将待抓取物体从视觉图像中标注出来。

2.根据权利要求1所述的基于多模态融合的机械手主动抓取方法，其特征在于，所述步骤3包括如下步骤：

步骤3.1：根据进入抓取范围的待抓取物体的定位信息，调整机械手(5)的抓取姿态执行抓取操作；

步骤3.2：通过触觉传感器感知触觉信息，判断是否抓取成功：若抓取成功，则结束流程；若抓取失败，则返回步骤3.1继续执行。

3.一种基于多模态融合的机械手主动抓取装置，其特征在于，利用权利要求1-2任一项所述的基于多模态融合的机械手主动抓取方法进行主动抓取，所述基于多模态融合的机械手主动抓取装置包括基座(1)、机械臂(2)、激光雷达(3)、双目视觉系统(4)、机械手(5)；其中，所述机械臂(2)的一端、激光雷达(3)分别紧固安装在基座(1)上，所述双目视觉系统(4)、机械手(5)分别紧固安装在机械臂的另一端。

4.根据权利要求3所述的基于多模态融合的机械手主动抓取装置，其特征在于，所述基座(1)内封装有用于多模态信息融合、机械臂运动规划和抓取控制任务的深度学习图像处理器芯片。

5.根据权利要求3所述的基于多模态融合的机械手主动抓取装置，其特征在于，所述双目视觉系统(4)以机械臂(2)为轴线对称安装在机械臂(2)的另一端。

6.根据权利要求3所述的基于多模态融合的机械手主动抓取装置，其特征在于，所述机械手(5)内部安装有用于实时反馈抓取状态、预测物体位姿、控制夹紧力的触觉传感器。