[发明专利]一种基于多模态视觉信息融合的机器人抓取检测方法

权利要求书

1.一种基于多模态视觉信息融合的机器人抓取检测方法，其特征在于步骤如下：

步骤1：通过深度相机获取含有目标物体的RGB图像和深度图像；

步骤2：利用深度学习YOLO网络检测RGB图像中目标物体的外接矩形框；

步骤3：利用矩形框对应的深度信息获取目标物体的在相机坐标系下的包围盒的三维坐标；

步骤4：根据目标物体包围盒的角点信息分割提取目标物体的点云集合；

步骤5：对分割得到的点云进行体素化降采样，点云滤波，点云聚类得到目标物体的理想点云；

步骤6：计算目标理想点云的质心以及利用PCA算法计算点云法向量方向作为目标抓取接近参考方向，以此作为目标物体点云的全局信息；

步骤7：对目标点云进行随机均匀采样，生成候选抓取姿态，通过旋转平移拓展更多的抓取姿态；

步骤8：将抓握候选内部点云编码为压缩的多通道图像，使用卷积神经网络计算每个抓取候选的分数；

步骤9：计算抓取候选中心点与物体点云质心的欧氏距离以及抓取接近方向与抓取接近参考方向的夹角，通过计算抓取候选分数，欧氏距离以及夹角加权分数之和选出质量最高的抓取作为机器人抓取目标的位姿，有效融合目标物体的全局点云与局部点云信息。

2.根据权利要求1所述基于多模态视觉信息融合的机器人抓取检测方法，其特征在于：步骤1中所述的相机为深度相机或者双目相机，既可以固定在机械臂末端随机械臂运动，也可以完全固定。

3.根据权利要求1所述基于多模态视觉信息融合的机器人抓取检测方法，其特征在于：步骤2中所述的深度学习YOLO网络是以RGD图像中物体矩形框物体类别，中心点坐标与图像宽高相对比值和高度宽度与图像宽高相对比值为标签，训练YOLO目标物体检测模型，获取目标包围盒角点所对应的像素坐标。

4.根据权利要求1所述基于多模态视觉信息融合的机器人抓取检测方法，其特征在于：步骤3具体为：基于RGB图像中的目标矩形框，通过融合深度图像中矩形框所在区域的深度信息的最大值与最小值，以此计算目标物体在相机坐标系下包围盒的几何信息以及相机坐标系下的角点坐标。

5.根据权利要求1所述基于多模态视觉信息融合的机器人抓取检测方法，其特征在于：步骤4所述的分割提取点云是根据包围盒信息，即目标物体在相机坐标系沿x，y，z三轴的坐标范围，并加入放大系数λ来确保保留目标物的全部点云，进而利用点云直通滤波器分割提取目标点云。

6.根据权利要求1所述基于多模态视觉信息融合的机器人抓取检测方法，其特征在于：步骤5所述的对分割提取出的点云进行处理操作，点云体素化降采样操作用于降低点云数据量，点云滤波可采用半径滤波或统计滤波，用于去除离群点，点云聚类操作用于获取最大的聚类点集以获取目标物体点云。

7.根据权利要求1所述基于多模态视觉信息融合的机器人抓取检测方法，其特征在于：步骤6所述的目标物体点云C的全局信息包括质心P_cen(x_cen,y_cen,z_cen)和抓取接近方向v₃，其中点云集C包含n个点，表示为：

C＝(c₁,c₂,...,c_n)

质心P_cen为点云集中所有点坐标值的平均值，计算公式为：

抓取接近方向通过PCA算法计算点云协方差矩阵S的特征值λ₁,λ₂,λ₃与对应特征向量v₁,v₂,v₃获得，其中λ₁≥λ₂≥λ₃；方差最小的方向是目标点云的法向量方向，作为抓取接近的参考方向，即v₃；其中点云协方差计算方式为：