[发明专利]物体抓取方法、装置和系统

说明书

本发明提供一种物体抓取方法、装置和系统，其中方法包括：确定待抓取物体所在场景的场景点云数据；将所述场景点云数据输入至抓取配置预测模型，得到所述抓取配置预测模型输出的所述待抓取物体对应的抓取配置；基于所述抓取配置，抓取所述待抓取物体；其中，所述抓取配置预测模型用于基于所述场景点云数据中各点的点云特征，预测粗略抓取配置结果，并基于抓取闭合框内局部点云中各点的坐标和点云特征，对所述粗略抓取配置结果进行微调，得到所述待抓取物体对应的抓取配置。本发明能够有效提高物体抓取的准确性，同时还提高了物体抓取的灵活性。

技术领域

本发明涉及机器人控制技术领域，尤其涉及一种物体抓取方法、 装置和系统。

背景技术

机械臂抓取是机器人重要的基础操作，在工业零部件的分拣、装 配和服务型机器人等众多领域有着广泛的应用。在国内的工业零部件 分拣任务中，大多数工厂仍然使用传统的示教或者人工分拣方式，灵 活性和适应性受到较大的限制。以视觉作为输入结合深度网络学习预 测复杂场景下的物品的精准抓取位姿成为当前的一个重要研究热点。

目前，传统基于彩色图片的平面抓取(4-DoF)检测方法，受限 于其自上向下的抓取方式，较大的限制了抓取操作的自由度，因而抓 取灵活性较差。而目前基于点云输入的6-DoF抓取位姿检测方法，针 对复杂堆叠的抓取场景，由于缺乏对局部抓取区域的关注与理解，致 使生成的抓取位姿不精准，从而导致夹取位置不稳定，夹爪易与堆叠 物品发生碰撞，导致抓取成功率不高。

发明内容

本发明提供一种物体抓取方法、装置和系统，用以解决现有技术 中抓取灵活性欠佳、抓取准确性不足的缺陷。

本发明提供一种物体抓取方法，包括：

确定待抓取物体所在场景的场景点云数据；

将所述场景点云数据输入至抓取配置预测模型，得到所述抓取配 置预测模型输出的所述待抓取物体对应的抓取配置；

基于所述抓取配置，抓取所述待抓取物体；

其中，所述抓取配置预测模型用于基于所述场景点云数据中各点 的点云特征，预测粗略抓取配置结果，并基于抓取闭合框内局部点云 中各点的坐标和点云特征，对所述粗略抓取配置结果进行微调，得到 所述待抓取物体对应的抓取配置；

所述抓取配置预测模型是基于样本场景的样本场景点云数据，以 及所述样本场景点云数据中各样本点的样本抓取配置标签训练得到 的。

根据本发明提供一种的物体抓取方法，所述抓取配置预测模型包 括粗略抓取配置预测网络和抓取配置微调网络；

其中，所述粗略抓取配置预测网络用于对所述场景点云数据进行 点云特征提取，得到所述场景点云数据中各点的点云特征，并基于各 点的点云特征，预测各点的抓取配置标签，得到所述粗略抓取配置结 果；

所述抓取配置微调网络用于基于抓取闭合框内局部点云中各点 的坐标和点云特征，对所述粗略抓取配置结果进行微调，得到所述待 抓取物体对应的抓取配置；所述抓取闭合框与所述粗略抓取配置结果 对应。

根据本发明提供的一种物体抓取方法，所述基于抓取闭合框内局 部点云中各点的坐标和点云特征，对所述粗略抓取配置结果进行微调， 得到所述待抓取物体对应的抓取配置，具体包括：

基于所述粗略抓取配置结果，抠取对应抓取闭合框内的局部点 云；

基于所述局部点云中各点的坐标和点云特征，进行特征提取，得 到所述局部点云中各点的微调点云特征；

基于所述局部点云中各点的微调点云特征，对所述粗略抓取配置 结果进行微调，得到所述待抓取物体对应的抓取配置。

根据本发明提供的一种物体抓取方法，所述样本场景为杂乱堆叠 场景；