[发明专利]一种基于多模态视觉信息融合的机器人抓取检测方法

摘要

本发明涉及一种基于多模态视觉信息融合的机器人抓取检测方法，包括：通过深度相机获取RGB图像和深度图像；利用深度学习YOLO检测目标物体的外接矩形框；结合深度图像获取目标物体的包围盒；分割提取目标物体的点云；对点云进行处理，先后进行降采样，点云滤波和点云聚类操作；计算目标点云的质心并利用PCA算法计算主成分方向；对目标点云进行随机均匀采样，生成候选抓取姿态；将抓握候选内部点云编码多通道图像，使用卷积神经网络预测分数；融合全局点云信息和局部点云信息，通过加权求和选出质量最高的抓取姿态作为执行位姿。该方法充分利用彩色图像，深度图像和以及目标物体点云的全局与局部信息，提高了机械臂与环境的交互能力。