[发明专利]三维点云中物体抓取位姿检测方法

说明书

一种三维点云中物体抓取位姿检测方法，通过整理样本图像中的物体抓取位姿作为训练集，对端到端物体抓取位姿检测模型进行训练，再对待测的三维点云数据进行识别，得到候选抓取位姿分数从而实现物体抓取位姿检测。本发明通过端到端的全场景训练测试，将点云中整体与局部的特征关系紧密联系起来，在优化运行速度的同时提高了检测准确程度。

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种三维点云中物体抓取位姿检测方法。

背景技术

物体抓取是机器人领域的基础问题，在制造、建筑和服务等行业有广泛的应用前景。抓取中最关键的步骤在于对给定视觉场景(如图片或点云)进行抓取位姿(抓取装置在空间中的位姿)检测。

现有的抓取位姿技术分为两种技术路线，一种路线通过估计物体在空间中的位姿间接生成抓取位姿，但预测结果对物体位姿估计的精确程度十分敏感，从而使得预测准确率大大下降；另一种路线直接在场景中估计抓取位姿，而不需要获知物体的位姿信息，这种路线可以通过强化学习或深度学习来实现。基于强化学习的方法对机械臂当前位姿进行迭代式的修正和评价，逐渐逼近物体，最终产生可靠的抓取位姿，但这种方法训练时间长，模型收敛难度大，对实体机械臂依赖性较强。基于深度学习的方法通过在点云上网格采样得到大量抓取位姿候选，再将抓取位姿编码成2D图像，用CNN判断是否可抓取，但这些技术的缺陷在于二维图像缺失了三维空间几何信息，影响了预测的准确性。进一步的改进技术将抓取位姿编码为三维点云，虽然提升了分类准确率，但候选位姿仍要通过网格采样实现，计算量巨大。

发明内容

本发明针对现有技术存在的上述不足，提出一种三维点云中物体抓取位姿检测方法，通过端到端的全场景训练测试，将点云中整体与局部的特征关系紧密联系起来，在优化运行速度的同时提高了检测准确程度。

本发明是通过以下技术方案实现的：

本发明涉及一种三维点云中物体抓取位姿检测方法，通过整理样本图像中的物体抓取位姿作为训练集，对端到端物体抓取位姿检测模型进行训练，再对待测的三维点云数据进行识别，得到候选抓取位姿分数从而实现物体抓取位姿检测。

所述的整理是指：从作为样本图像的已有图像库中获取含有不同物体组合、不同摆放方式的物体抓取位姿检测的RGB-D图像，合成点云场景及对应的训练标签。

所述的端到端物体抓取位姿检测模型包括：用于处理编码后空间信息的候选抓取点预测模块、用于生成候选抓取位姿特征的空间变换模块、抓取参数预测模块以及抓取亲和度预测模块，其中：候选抓取点预测模块内置用于处理点云场景的PointNet++模型并进行候选抓取点位及主轴方向预测，空间变换模块裁剪候选抓取位姿附近的点云并转换至夹爪坐标系中，抓取参数预测模块对抓取的绕轴旋转角度、夹持宽度和抓取分数进行预测，抓取亲和度预测模块判断抓取位姿的鲁棒性。

所述的物体抓取位姿检测，优选进一步通过对候选抓取位姿分数进行阈值判断实现。

技术效果

本发明整体解决了物体抓取位姿检测中无法有效利用三维点云场景信息的问题。

与现有技术相比，本发明将抓取位姿以三维点云的形式进行编码，相较二维编码大幅提升了数据信息量，同时提出了一种端到端全场景训练测试过程，避免了无差别的网格采样候选位姿，将点云中整体与局部的特征关系紧密联系起来，在优化运行速度的同时提高了检测准确程度，在大型通用抓取数据集GraspNet上取得了现有最好成绩。

附图说明

图1为本发明流程图；

图2为夹爪坐标系示意图；

图3为本发明效果示意图。

具体实施方式