[发明专利]用于混合尺寸卸垛的算法

说明书

本申请涉及一种用于混合尺寸卸垛的算法，更具体地，涉及一种用于识别要由机器人从多个箱子的堆叠中拾取的箱子的系统和方法。该方法包括使用3D相机获得该多个箱子的2D红绿蓝(RGB)彩色图像和该多个箱子的2D深度图图像。该方法采用图像分割过程，该图像分割过程使用由中央处理单元(CPU)可执行的简化的掩模R‑CNN来预测RGB图像中的哪些像素与每个箱子相关联，其中与每个箱子相关联的那些像素被分配唯一标签，唯一标签组合以定义用于箱子的掩模。然后，该方法使用分割图像识别用于拾取箱子的位置。

技术领域

本公开一般涉及用于识别要由机器人从多个对象的组中拾取的对象的系统和方法，并且更具体地涉及用于识别要由机器人从多个箱子的堆叠中拾取的箱子的系统和方法，其中该方法采用图像分割过程，该图像分割过程使用由中央处理单元(CPU)可执行的简化的掩模R-CNN或其他神经网络来预测箱子的中心区域以及用于识别围绕中心区域的箱子的边缘的传统操作。

背景技术

机器人执行包括拾取和放置操作的大量商业任务，其中机器人拾取对象并将对象从一个位置移动到另一个位置。例如，机器人可以从运货板上拾取箱子并将箱子放置在传送带上，其中机器人可能采用具有吸盘的末端执行器来保持箱子。为了使机器人有效地拾取箱子，机器人需要知道它正拾取的箱子的宽度、长度和高度，所述宽度、长度和高度在拾取和放置操作之前被输入到机器人控制器中。然而，同一运货板上的箱子经常具有不同的尺寸，这使得在拾取和放置操作期间将箱子的尺寸输入到机器人中是低效的。这些箱子也可以并排地放置在相同的高度，在此区分它们是单独的箱子还是单个大的箱子是有挑战性的。

在一种已知的机器人拾取和放置系统中，机器人将拾取的箱子的宽度、长度和高度首先输入到系统中。3D相机获取箱子的堆叠的自顶向下图像，并且生成箱子的2D灰度图像和箱子的2D灰度深度图图像，其中深度图图像中的每个像素具有定义从相机到特定箱子的距离的值，即，像素越靠近对象，其值越低。机器人控制器基于所述箱子的宽度和长度提供一系列投影模板，每个投影模板具有用于所述相机与所述箱子之间的特定距离的尺寸。在搜索过程中，用于深度图图像提供的箱子的距离的模板在2D灰度图像周围移动，使得当模板与灰度图像中的箱子匹配或对准时，机器人控制器将知道箱子的位置，并且将使用该位置来定义箱子的中心以控制机器人拾取箱子。

转让给本申请的受让人并且通过引用结合于此的、标题为混合尺寸卸垛、2020年9月9日提交的序列号为17/015,817的美国专利申请公开了一种用于识别将由机器人从多个箱子的堆叠中拾取的箱子的系统和方法。该方法包括使用3D相机来获得箱子的2D红绿蓝(RGB)彩色图像和箱子的2D深度图图像，其中深度图图像中的像素被分配有标识从相机到箱子的距离的值。该方法采用修改的深度学习掩模R-CNN(卷积神经网络)，其通过执行图像分割过程来生成箱子的分割图像，该图像分割过程从RGB图像和深度图图像提取特征，组合图像中的所提取的特征，并且向特征图像中的像素分配标签，使得分割图像中的每个箱子具有相同的标签。然后，该方法使用分割图像识别用于拾取箱子的位置。

'817申请中描述的方法已经被示出为对于识别用于机器人拾取的箱子的堆叠中的箱子是有效的。然而，'817申请中公开的方法采用深度学习神经网络用于图像滤波步骤、区域建议步骤和二值分割步骤。这些类型的深度学习神经网络需要大量的处理，使得为了具有现实和实际的机器人拾取时间，通常由于并行处理而提供比中央处理单元(CPU)更高速度的图形处理单元(GPU)通常需要被用于深度学习神经网络计算。例如，通过在'817方法中采用CPU进行神经网络处理，该过程将花费大约2.272秒来识别要拾取的箱子，而在'817方法中使用GPU进行神经网络处理，该过程仅需要大约0.1185秒。然而，诸如机器人系统之类的工业应用目前不利于采用GPU，因为目前使用的标准协议以及这些系统经常经受的恶劣环境。

发明内容