[发明专利]用于混合尺寸卸垛的算法

权利要求书

1.一种用于从多个对象箱子的组中拾取对象箱子的方法，所述方法包括：

使用3D相机获得多个箱子的2D红绿蓝(RGB)彩色图像；

使用所述3D相机获得所述多个箱子的2D深度图图像，其中所述深度图图像中的像素被分配识别从所述相机到所述多个箱子的距离的值；

通过在神经网络中执行图像分割过程来生成所述多个箱子的分割掩模图像，所述图像分割过程从所述RGB图像提取特征并且使用所提取的特征来预测所述RGB图像中的哪些像素与每个箱子相关联，其中与每个箱子相关联的那些像素被分配唯一标签，所述唯一标签组合以定义用于所述箱子的掩模；

选择所述分割掩模图像中的多个掩模中的一个；

识别并移除所选择的掩模中的与比与所选择的掩模相关联的对象箱子低的对象箱子相关联的像素，以提供细化的掩模；

使用形态学过程根据所述细化的掩模生成下边界掩模和上边界掩模；

使用细化过程根据所述下边界掩模和所述上边界掩模生成扩展掩模；以及

使用所述扩展掩模来识别用于拾取所述箱子的位置。

2.根据权利要求1所述的方法，其中，所述神经网络是简化的掩模R-CNN(卷积神经网络)。

3.根据权利要求1所述的方法，其中，生成分割掩模图像包括提供多个边界框，将所述多个边界框与所述提取的特征对准，以及提供包括围绕所述多个对象箱子的边界框的边界框图像。

4.根据权利要求3所述的方法，其中，生成分割掩模图像包括确定对象箱子存在于每个边界框中的概率。

5.根据权利要求3所述的方法，其中，生成分割掩模图像包括从所述边界框图像中的每个边界框去除不与对象箱子相关联的像素。

6.根据权利要求1所述的方法，其中识别并移除所选择的掩模中的像素包括使用所述深度图图像。

7.根据权利要求1所述的方法，其中生成下边界掩模和上边界掩模包括执行扩大过程和侵蚀过程，在所述扩大过程中，将预定数量的像素添加到所述细化的掩模的外边界，在所述侵蚀过程中，将预定数量的像素从所述细化的掩模的外边界移除。

8.根据权利要求1所述的方法，其中生成扩展掩模包括：生成初始图像，所述初始图像仅包括RBG图像的由所述上边界掩模限定的区域，其中所述初始图像中的每个像素的值是光强度；然后根据所述初始图像生成梯度图像，其中每个像素强度被基于相邻像素的梯度强度替代，以及然后扩大像素强度以识别梯度图像中的峰。

9.根据权利要求1所述的方法，还包括通过拟合围绕所述扩展掩模的最小尺寸边界框来确定所述扩展掩模的定向角(θ)。

10.根据权利要求9所述的方法，其中，拟合围绕所述扩展掩模的最小尺寸边界框包括使用迭代最小矩形搜索来获得围绕所述扩展掩模的最小尺寸边界框。

11.根据权利要求1所述的方法，其中识别用于拾取所述对象箱子的位置包括识别最终边界掩模的中心像素，以及使用所述中心像素的位置和所述深度图图像来计算所述中心像素的x-y-z坐标。

12.根据权利要求11所述的方法，其中识别用于拾取所述对象箱子的位置包括使用所述x-y-z坐标以及俯仰、偏转及滚动位置来确定用于拾取所述对象箱子的抓取姿态。

13.根据权利要求12所述的方法，其中所述对象箱子由机器人拾取，并且所述抓取姿态确定机器人末端执行器的姿态。