[发明专利]一种基于RGBD相机的堆叠工件姿态识别及拾取方法

权利要求书

1.一种基于RGBD相机的堆叠工件姿态识别及拾取方法，其特征在于，包括以下步骤：

1)对RGBD相机内参数进行标定，并且进行机器人与相机的手眼标定；

2)根据预先获得的待抓取工件的3D模型进行训练，模拟全方位摄像头进行全视角扫描，生成用以匹配的2D模型；

3)利用RGBD相机获取待识别工件的RGB图像和深度图像，将RGB图像与训练好的2D模型进行匹配，获取出待抓取工件的轮廓信息；

4)获取待抓取工件在图像像素坐标系中的二维位置信息以及在相机坐标系下的六自由度位姿，还包括以下步骤：

根据待抓取工件的自身位置信息及以及堆叠的不同工件之间的相对位置关系，将匹配识别出的工件的轮廓图内二维区域与参考模板在该姿态下的二维视图进行对比，遍历该区域内的像素，获取工件未被覆盖区域与轮廓区域总像素的比值，得到近似表示工件可视度的分数值，对可视度的分数值进行排序将堆叠的工件进行排序识别，实现从工件堆由上至下的识别和抓取；

5)根据手眼标定和相机坐标系下六自由度位姿进行坐标转换获取待抓取工件在机器人坐标系下的六自由度位姿；

6)根据机器人坐标系下的六自由度位姿，控制六轴机器人对待抓取工件进行拾取。

2.根据权利要求1所述的一种基于RGBD相机的堆叠工件姿态识别及拾取方法，其特征在于，所述的步骤3)具体为：

采用两级多尺度金字塔穷举算法分别根据姿态范围和图像尺寸将RGB图像与2D模型进行匹配，框选出待抓取工件的轮廓信息，包括抓取工件的重心在像素坐标系中的二维位置信息。

3.根据权利要求2所述的一种基于RGBD相机的堆叠工件姿态识别及拾取方法，其特征在于，所述的步骤4)具体包括以下步骤：

41)根据待抓取工件在图像像素坐标系中的重心点通过相机参数进行坐标变换，同时结合深度图像的深度信息，获得其在摄像机坐标系中XYZ轴的物理坐标；

42)以重心点作为参考点获取待抓取工件的边界角点在摄像机坐标系中的物理坐标，确定待抓取工件的中轴线，通过平面投影和深度信息采用最小二乘法拟合出中轴线的直线方程，得到摇摆、俯仰和偏转三个方向的角度，最终获取待抓取工件在摄像机坐标系下的六自由度位姿量。

4.根据权利要求2所述的一种基于RGBD相机的堆叠工件姿态识别及拾取方法，其特征在于，所述的步骤5)中，通过手眼标定获取机器人坐标系到相机坐标系的变换矩阵具体为：

将标定板固定在机器人的末端执行器上，摄像头位置固定，控制末端执行器移动位置，改变标定板在摄像机坐标系中的位置，并记录末端执行器的位姿以及标定板在摄像头坐标系下的位姿，进而利用标定算法得获取机器人坐标系到相机坐标系的变换矩阵。

5.根据权利要求1-4任一项所述的一种基于RGBD相机的堆叠工件姿态识别及拾取方法，其特征在于，所述的待抓取工件为圆柱状的金属轴承。

6.根据权利要求1所述的一种基于RGBD相机的堆叠工件姿态识别及拾取方法，其特征在于，所述的3D模型通过手动测量获取或通过SolidWorks绘制得到。