[发明专利]一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法

权利要求书

1.一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法，包括以下步骤：

步骤一、通过相机得到所述工件的RGB图像Ⅰ和深度图像Ⅰ；RGB图像Ⅰ和深度图像Ⅰ通过单应性矩阵转换，计算得到RGB图像Ⅰ和深度图像Ⅰ对齐的数据；将所述对齐数据进行采集并调整至大小相同获得RGB图像Ⅱ和深度图像Ⅱ；将RGB图像Ⅱ送入网络模型进行训练，用以使网络输出结果准确、稳定；将所述工件的实际RGB图像输入到神经网络进行实例分割，用以得到所述工件的掩膜图像以及3D特征点；

步骤二：用所述掩膜图像将深度图像Ⅰ分割获得图像Ⅰ，根据图像Ⅰ的像素值与相机内在参数得到工件的分割后目标点云；通过所述分割后目标点云和所述3D特征点利用算法Ⅰ计算出工件的粗略位姿；建立虚拟环境，变换相机与工件CAD模型之间的相对位姿得到虚拟点云，所述虚拟点云作为需要匹配的点云，将扫描点云作为目标点云，通过所述需要匹配的点云和所述目标点云利用算法Ⅱ进行迭代匹配，得到工件的精确位姿；

步骤三：根据工件与相机相对位姿以及相机与机器人相对位姿，通过矩阵变换得到工件相对机器人的位姿，实现机器人自动抓取工件；

其中所述算法Ⅰ为PNP算法；

其中所述算法Ⅱ为ICP算法；

其中所述虚拟环境是基于VTK建立一个虚拟相机与工件CAD模型的虚拟环境。

2.根据权利要求1所述的方法，其中所述相机采用彩色相机和深度相机。

3.根据权利要求2所述的方法，其中所述单应性矩阵是通过彩色相机和深度相机的相对位置进行计算得到。

4.根据权利要求1所述的方法，其中所述网络模型为MaskRCNN网络。