[发明专利]一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法

说明书

本发明涉及机器人自动抓取，更具体的说是一种基于RGB‑D图像和CAD模型的机器人自动抓取工件方法。本发明基于VTK建立一个虚拟相机与工件CAD模型的虚拟环境；利用神经网络对图像进行分割处理，得到目标工件的3D点云，然后与虚拟CAD模型点云进行匹配，该方法是匹配效果较好，速率高，解决了机器人工件抓取不精确，效果不好等问题。

技术领域

本发明涉及机器人自动抓取，更具体的说是一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法。

背景技术

神经网络是实现人工智能的关键技术，其建立具有阶层结构的人工神经网络能够在计算系统中实现人工智能。神经网络是模仿人类大脑构造设计的算法，用于对事物的识别。神经网络通过机器感知系统解释传感数据，能够对原始输入进行标记或聚类等操作。神经网络所能识别的模式是数值形式，因此必须将图像、声音、文本、时间序列等一切现实世界的数据转换为数值形式。

传统工件抓取前位姿的估计方法主要包括点匹配以及模板匹配。点云匹配通过扫描工件点云与工件CAD模型点云进行匹配。ICP算法是比较经典的点云匹配方法，其要求目标点云与待匹配的点云为工件同一部分点云。基于工件与相机相对位姿以及相机与机器人相对位姿进行矩阵变换得到工件相对机器人的位姿，因此实现工件自动抓取，但抓取精度不高。

发明内容

本发明提供一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法，目的是可以提高机器人对工件抓取精度。

上述目的通过以下技术方案来实现：

一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法，包括以下步骤：

步骤一、通过相机得到所述工件的RGB图像Ⅰ和深度图像Ⅰ；RGB图像Ⅰ和深度图像Ⅰ通过单应性矩阵转换，计算得到RGB图像Ⅰ和深度图像Ⅰ对齐的数据；将所述对齐数据进行采集并调整至大小相同获得RGB图像Ⅱ和深度图像Ⅱ；将RGB图像Ⅱ送入网络模型进行训练，用以使网络输出结果准确、稳定；将所述工件的实际RGB图像输入到神经网络进行实例分割，用以得到所述工件的掩膜图像以及3D特征点；

步骤二：用所述掩膜图像将深度图像Ⅰ分割获得图像Ⅰ，根据图像Ⅰ的像素值与相机内在参数得到工件的分割后目标点云；通过所述分割后目标点云和所述3D特征点利用算法Ⅰ计算出工件的粗略位姿；建立虚拟环境，变换相机与工件CAD模型之间的相对位姿得到虚拟点云，所述虚拟点云作为需要匹配的点云，将扫描点云作为目标点云，通过所述需要匹配的点云和所述目标点云利用算法Ⅱ进行迭代匹配，得到工件的精确位姿；

步骤三：根据工件与相机相对位姿以及相机与机器人相对位姿，通过矩阵变换得到工件相对机器人的位姿，实现机器人自动抓取工件。

本发明一种基于RGB-D图像和CAD模型的机器人自动抓取工件方法的有益效果为：

本发明基于VTK建立一个虚拟相机与工件CAD模型的虚拟环境；利用神经网络对图像进行分割处理，得到目标工件的3D点云，然后与虚拟CAD模型点云进行匹配，该方法是匹配效果较好，速率高，解决了机器人工件抓取不精确，效果不好等问题；利用神经网络对工件的实际RGB图像进行实例分割，对以后抓取其他类型工件具有指导意义；本发明通过相机拍摄得到工作台的RGB-D图片，基于深度神经网络对工件目标进行识别，将目标工件在图像上分割出来；同时对工件CAD模型进行点云扫描；再利用PNP算法计算得到目标工件粗略位姿；从而计算机通过已知工件位姿与自身位姿计算实现自动抓取操作；本发明实现深度学习与传统方法相结合，准确性较高，同时神经网络并行化程度高，使得GPU合理运用，方法运算速度快。

附图说明

图1为本发明的流程图；

图2为工件抓取方法整体示意图。

具体实施方式

本发明方法分为工件图像实例分割，点云匹配以及机器人抓取三个阶段，具体步骤如下。