[发明专利]物体抓取方法、装置和系统

权利要求书

1.一种物体抓取方法，其特征在于，包括：

确定待抓取物体所在场景的场景点云数据；

将所述场景点云数据输入至抓取配置预测模型，得到所述抓取配置预测模型输出的所述待抓取物体对应的抓取配置；

基于所述抓取配置，抓取所述待抓取物体；

其中，所述抓取配置预测模型用于基于所述场景点云数据中各点的点云特征，预测粗略抓取配置结果，并基于抓取闭合框内局部点云中各点的坐标和点云特征，对所述粗略抓取配置结果进行微调，得到所述待抓取物体对应的抓取配置；

所述抓取配置预测模型是基于样本场景的样本场景点云数据，以及所述样本场景点云数据中各样本点的样本抓取配置标签训练得到的。

2.根据权利要求1所述的物体抓取方法，其特征在于，所述抓取配置预测模型包括粗略抓取配置预测网络和抓取配置微调网络；

其中，所述粗略抓取配置预测网络用于对所述场景点云数据进行点云特征提取，得到所述场景点云数据中各点的点云特征，并基于各点的点云特征，预测各点的抓取配置标签，得到所述粗略抓取配置结果；

所述抓取配置微调网络用于基于抓取闭合框内局部点云中各点的坐标和点云特征，对所述粗略抓取配置结果进行微调，得到所述待抓取物体对应的抓取配置；所述抓取闭合框与所述粗略抓取配置结果对应。

3.根据权利要求2所述的物体抓取方法，其特征在于，所述基于抓取闭合框内局部点云中各点的坐标和点云特征，对所述粗略抓取配置结果进行微调，得到所述待抓取物体对应的抓取配置，具体包括：

基于所述粗略抓取配置结果，抠取对应抓取闭合框内的局部点云；

基于所述局部点云中各点的坐标和点云特征，进行特征提取，得到所述局部点云中各点的微调点云特征；

基于所述局部点云中各点的微调点云特征，对所述粗略抓取配置结果进行微调，得到所述待抓取物体对应的抓取配置。

4.根据权利要求1所述的物体抓取方法，其特征在于，所述样本场景为杂乱堆叠场景；

所述样本场景是基于如下步骤构建的：

随机采样若干个样本物体；

基于各个样本物体的三维模型，随机采样各个样本物体的初始位姿；

基于各个样本物体的初始位姿，依次将各个物体悬空落下至放置于桌面上的盒子内，直至所有样本物体完成坠落，并记录每个物体的终止位姿；

其中，若样本物体之间发生嵌入，或者样本物体与盒子之间发生嵌入，则重新构建样本场景。

5.根据权利要求1至4任一项所述的物体抓取方法，其特征在于，各样本点的样本抓取配置标签是基于如下步骤确定的：

确定各个样本物体的标准抓取配置；

将各个样本物体在所述样本场景中的位姿转换成旋转矩阵；

基于各个样本物体对应的旋转矩阵，将各个样本物体的标准抓取配置与所述样本场景相匹配，得到各个样本物体在所述样本场景中的样本抓取配置；

滤除产生碰撞的样本抓取配置后，基于各个样本物体剩余的样本抓取配置，对所述样本场景点云数据进行标注，得到各样本点的样本抓取配置标签。

6.根据权利要求5所述的物体抓取方法，其特征在于，所述确定各个样本物体的标准抓取配置，具体包括：

在任一样本物体的模型表面上随机采样若干个点；

确定每个采样点的对跖抓取点，构成多个采样点对；

基于所述多个采样点对，确定抓取点对及其对应的可选抓取配置，作为所述任一样本物体的标准抓取配置。