[发明专利]基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统

权利要求书

1.一种基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，包括：

通过三维测量系统获得手眼标靶的二维图像和三维点云数据；

对所述手眼标靶的二维图像进行识别，提取所述手眼标靶的边缘信息，并映射至三维空间，然后从所述手眼标靶的三维点云数据中分割出单个标志图形进行拟合获得其中心的标靶点，得到各标靶点在相机坐标系下的空间坐标，并对各标靶点进行排序得到排序结果；

示教机械臂末端夹具根据排序结果依次对各个标靶点进行抓取测量，得到各个标靶点在机械臂坐标系下的空间坐标；

根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵；

所述根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标，得到手眼关系矩阵，包括：将手眼标靶处于一个姿态下，各标靶点在相机坐标系下的空间坐标以及在机械臂坐标下的空间坐标作为同源点对，调整手眼标靶姿态，获取多组三维的同源点对，根据所述多组三维的同源点对进行标定；

通过所述三维测量系统获取目标工件的二维图像和三维点云数据，提取所述目标工件的边缘信息，对所述目标工件的边缘信息进行形态学闭运算，通过膨胀和腐蚀操作去除无效的狭长边缘，接着以每个边缘像素为中心，遍历邻域范围内的所有点，对像素值为零的点进行填充，扩充所述目标工件的边缘信息，并得到边缘连通区域，对每个边缘连通区域进行划分并确定编号，遍历每个边缘连通区域，并计算每个边缘连通区域的Hu矩，计算所述边缘连通区域与预设的标准工件的轮廓的Hu矩的相似度，筛选出计算数值小于阈值的边缘连通区域，并按照计算数值大小确定目标工件的抓取顺序并进行编号，所述抓取顺序为计算数值小的先抓取，计算数值大的后抓取，返回筛选出边缘连通区域的轮廓坐标；

选取所述目标工件的轮廓坐标映射至三维空间，然后从目标工件的三维点云数据中分割出单个目标工件，得到单个目标工件在相机坐标系下的空间坐标；

根据所述手眼关系矩阵，将所述单个目标工件在相机坐标系下的空间坐标，转换为单个目标工件在机械臂坐标系下的空间坐标；

以标准工件的三维点云数据作为匹配模板，将所述标准工件的三维点云数据匹配到所述目标工件的三维点云数据中，然后通过粗匹配操作和精匹配操作求取整个旋转平移矩阵，得到所述目标工件的位置和姿态；

根据所述目标工件的位置和姿态，控制所述机械臂抓取所述目标工件。

2.根据权利要求1所述的基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，所述手眼标靶中设置有9个标志图形，并呈规格的3×3排布，所述标志图形为标志圆，所述标靶点为标志圆的圆心，并在第一行第一列和第二行第三列的标志圆中添加内圆，作为9点排序的标志圆。

3.根据权利要求2所述的基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，所述对各标靶点进行排序得到排序结果，包括：

连接两个排序标志圆的圆心确定一条直线；

计算每个标靶点到该直线的距离；

将其中距离最远的标记为7号标靶点，并标记出1号标靶点和6号标靶点；

计算所述7号标靶点与各标靶点之间的距离，将其中距离最远的标记为3号标靶点；

然后利用所述1号、3号、6号、7号标靶点的空间坐标，求得剩余标靶点的编码值。

4.根据权利要求1所述的基于三维测量引导机械臂抓取散乱堆叠工件的方法，其特征在于，所述根据各标靶点在相机坐标系下的空间坐标以及在机械臂坐标系下的空间坐标，得到手眼关系矩阵，包括：

按下式计算得到所述手眼关系矩阵：

其中p^c_i＝(x_i^c,y_i^c,z_i^c)为各标靶点在相机坐标系下的空间坐标，p_i^tool(x_i^tool,y_i^tool,z_i^tool)为各标靶点在机械臂坐标系下的空间坐标以及在机械臂坐标下的空间坐标，R和T分别表示从相机坐标系到机械臂坐标系之间的旋转和平移矩阵。