[发明专利]一种基于物体平面特征的复合机器人3D抓取方法及系统

说明书

本发明提供了一种基于物体平面特征的复合机器人3D抓取方法及系统，其中方法步骤包括：S1标定机械臂与相机之间的手眼关系；S2设定标准拍照位姿，采集场景点云，分出目标物体点云制作第一模板；S3 AGV保持不动再次获取场景点云，以与第一模板匹配，获取场景中目标物体相对于第一模板的第一变换矩阵；S4令AGV和目标物体保持不动，示教机械臂，获取可抓取目标物体的第一位姿以结合第一变换矩阵，计算标准抓取位姿变换矩阵；S5机械臂保持标准拍照位姿，移动AGV到新的位置后获取场景点云，以与第一模板进行匹配，获取场景中目标物体相对于第一模板的第二变换矩阵；S6根据第二变换矩阵与标准抓取位姿变换矩阵，从而无需借助额外标志物解得机械臂抓取位姿。

技术领域

本发明涉及机器视觉技术，尤其涉及基于物体平面特征的复合机器人3D抓取方法及系统。

背景技术

目前现有固定式机械臂无法满足人们对于低成本多工位柔性化分析的需求，因此将机械臂与AGV（Automated Guided Vehicle自动引导车）相结合的移动式复合机器人在工业领域有着越来越重要的应用价值。由于移动式复合机器人定位精度低，目前一些物料的抓取、摆放等工作主要依赖AGV导航定位和机器视觉补偿技术相结合的方式。

中国专利公布号为CN113084808A的发明专利公布了一种基于单目视觉的移动机械臂2D平面抓取方法。该方法主要使用基于形状的模板匹配方法识别标志物，计算AGV移动后机械臂的新抓取位姿。但是通过标志物来间接定位抓取物，要求工件与标志物相对位姿固定，一旦放置有偏差，则容易造成后期抓取失败。另外该技术在抓取过程中，需多次移动机械臂拍摄图片以供计算抓取位姿，这样会导致整体抓取节拍过于缓慢。

在3D视觉定位方面，Bsel和Mckay提出了迭代最近点(Iterative Closest Point,ICP)算法，它重复进行“确定对应点关系点集——计算最优刚体变换”的过程，直到两片点云对应点的均方误差最小。但是对于传统的ICP配准算法及其改进形式，它们对于点云的初始位姿要求极高，容易陷入局部最优；算法在搜索对应点的过程中，计算代价很大，对于实际测量的海量数据，无法直接使用。

另一方面，Rusu提出的基于点特征直方图(Point Feature Histograms ,PFH)的三维点云配准算法，其通过参数化查询点与邻域点之间的空间差异，并形成一个多维直方图对点的k邻域集合属性进行描述，他是基于点与其 k邻域之间的关系以及它们的估计法线，考虑估计法线方向之间所有的相互作用，试图捕获最好的样本表面变化情况，以描述样本的几何特征，通过寻找最为相似的点特征直方图实现了点云的配准。

此外，在PFH的基础上，2009年Rusu提出了基于快速点特征直方图(Fast PointFeature Histograms ,FPFH)三维点云配准算法，降低了算法的计算复杂度，保留了 PFH大部分的识别特性，提高了点云配准的效率。基于特征的点云配准算法本质上是将二维图像的特征推广到三维，如：Sift-3D、 Harris-3D、ISS关键点的提取，还有PFH、FPFH特征直方图的计算。

然而对于识别工业场景中平面特征较为丰富的目标物体的点云，当局部特征较为相似时，容易导致点云匹配效果较差。

发明内容

为此本发明的主要目的在于提供一种基于物体平面特征的复合机器人3D抓取方法及系统，以实现无需借助额外标志物，即可识别工业场景中平面特征较为丰富的目标物体，并准确解得机械臂的抓取位姿。

为了实现上述目的，根据本发明的一个方面，提供了一种基于物体平面特征的复合机器人3D抓取方法，其步骤包括：

S1标定机械臂与相机之间的手眼关系；

S2设定标准拍照位姿，并采集场景点云，以分离出目标物体点云来制作第一模板；

S3 AGV在保持不动的条件下获取场景点云，以供与第一模板进行模板匹配，进而获取场景中目标物体相对于第一模板的第一变换矩阵；