[发明专利]一种基于多模态视觉信息融合的机器人抓取检测方法

说明书

本发明涉及一种基于多模态视觉信息融合的机器人抓取检测方法，包括：通过深度相机获取RGB图像和深度图像；利用深度学习YOLO检测目标物体的外接矩形框；结合深度图像获取目标物体的包围盒；分割提取目标物体的点云；对点云进行处理，先后进行降采样，点云滤波和点云聚类操作；计算目标点云的质心并利用PCA算法计算主成分方向；对目标点云进行随机均匀采样，生成候选抓取姿态；将抓握候选内部点云编码多通道图像，使用卷积神经网络预测分数；融合全局点云信息和局部点云信息，通过加权求和选出质量最高的抓取姿态作为执行位姿。该方法充分利用彩色图像，深度图像和以及目标物体点云的全局与局部信息，提高了机械臂与环境的交互能力。

技术领域

本发明属于机器人目标物体抓取技术领域，具体是基于图像与点云视觉信息融合的抓取姿态检测方法。

背景技术

随着人工智能的发展，机器人在工业与服务业领域得到广泛应用。其中，机器人的抓取操作发挥着重要的作用，有效避免人类繁多的取放任务。相比于以往对固定物体的抓取或者固定位置的抓取，机器人自主准确完成抓取指定物体有着重大意义。其关键在于自主作业时需要知道场景存在的物体，以及如何在不同的视觉信息下检测抓取姿态。因此，目标识别和抓取姿态估计是机器人领域的研究热点。

深度学习技术是目标识别与抓取姿态估计方向的重要技术方法。YOLO作为实时性单阶段目标检测网络，在机器人视觉检测领域得到广泛应用。而对于6DoF抓取位姿检测，传统的抓取位姿估计方法基于已知CAD模型的物体位姿生成抓取姿态，而实际情况中物体不易获取精确的模型。目前，无模型的抓取姿态检测流程是先采样生成抓取候选再进行评价。例如基于点云的抓取姿态生成网络如(A.ten Pas,M.Gualtieri,K.Saenko,and R.Platt,“Grasp pose detection in point clouds,”The International Journal of RoboticsResearch(IJRR),2017)，此种方法直接根据抓取闭合内部点云判断抓取质量，优点是极大降低了数据量，泛化性强，但由于没有充分利用物体的全局点云信息，无法生成稳定的抓取，同时没有获知抓取物体的种类信息，无法直接应用在复杂的场景中。图像和点云视觉信息特征的融合提取是机器人自主作业重中之重。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提供一种基于多模态视觉信息融合的机器人抓取检测方法，该方法可以实现在复杂环境下指定目标物体的稳定抓取姿态生成，充分利用彩色图像，深度图像和以及目标物体点云的全局与局部信息，提高了机械臂与环境的交互能力。

技术方案

一种基于多模态视觉信息融合的机器人抓取检测方法，其特征在于步骤如下：

步骤1：通过深度相机获取含有目标物体的RGB图像和深度图像；

步骤2：利用深度学习YOLO网络检测RGB图像中目标物体的外接矩形框；

步骤3：利用矩形框对应的深度信息获取目标物体的在相机坐标系下的包围盒的三维坐标；

步骤4：根据目标物体包围盒的角点信息分割提取目标物体的点云集合；

步骤5：对分割得到的点云进行体素化降采样，点云滤波，点云聚类得到目标物体的理想点云；

步骤6：计算目标理想点云的质心以及利用PCA算法计算点云法向量方向作为目标抓取接近参考方向，以此作为目标物体点云的全局信息；

步骤7：对目标点云进行随机均匀采样，生成候选抓取姿态，通过旋转平移拓展更多的抓取姿态；

步骤8：将抓握候选内部点云编码为压缩的多通道图像，使用卷积神经网络计算每个抓取候选的分数；