[发明专利]具有旋转补偿的对象料箱拾取

说明书

一种用于识别待被机器人拾取的对象的系统和方法。该方法包括使用3D相机来获得对象的2D红‑绿‑蓝(RGB)彩色图像和2D深度图图像，其中深度图图像中的像素被分配识别从相机到对象的距离的值。该方法使用深度学习卷积神经网络来生成多个对象的分割图像，深度学习卷积神经网络执行图像分割过程，图像分割过程从RGB图像提取特征，向像素分配标签，使得分割图像中的对象具有相同的标签，并且使用对象在分割图像中的定向来旋转对象。然后，该方法使用分割图像和深度图图像来识别用于拾取对象的位置，并且在拾取对象时旋转该对象。

技术领域

本公开一般涉及用于识别待被机器人拾取的对象的系统和方法，并且更具体地，涉及用于识别待被机器人从多个对象的料箱中拾取的对象(诸如透明对象)的系统和方法，其中该方法采用图像分割过程，该图像分割过程使用神经网络来从由相机捕获的图像提取特征以提供提取特征图像，识别提取特征图像中的各个像素的x和y坐标并且识别在分割图像中该多个对象的定向。

背景技术

机器人执行包括拾取和放置操作的多个任务，其中机器人从例如为料箱的一个位置拾取和移动对象至例如为传送带的另一位置。为了识别正从料箱中拾取的对象，一些机器人系统采用产生料箱的2D红-绿-蓝(RGB)彩色图像和料箱的2D灰度深度图图像的3D相机，其中在深度图图像中的每个像素具有限定从相机到具体对象的距离的值，即像素越靠近对象其值越低。深度图图像识别到相机视场中点云中的点的距离测量值，其中点云是由某个坐标系限定的数据点的集合，每个点都有x、y和z值。

为此目的，有两种常规类型的点云分析，即无模型点云分析和基于模型的点云分析。无模型点云分析包括识别点云中自相机的法线方向的点簇并相对于彼此分割这些簇，其中每个点云段都被识别为一个对象。基于模型的点云分析包括从对象的CAD模型创建模板，然后在点云中搜索该模板。然而，如果机器人正拾取的对象是透明的，则光会穿过对象传播并且不会从对象表面有效地反射。因此，相机生成的点云并不是对象的有效表示，深度图图像也不可靠，因此不能正确识别对象以进行拾取。

发明内容

以下讨论公开并描述了用于识别待被机器人从多个对象的料箱拾取的对象的系统和方法。该方法包括使用3D相机获得该多个对象的2D红-绿-蓝(RGB)彩色图像和2D深度图图像，其中深度图图像中的各个像素被分配识别从相机到该多个对象的距离的值。该方法使用卷积神经网络生成该多个对象的分割图像，该卷积神经网络执行图像分割过程，该图像分割过程从RGB图像提取多个特征，为各个像素分配标签，使得分割图像中的各个对象具有相同的标签，并且确定该多个对象的定向。生成分割图像包括：提供具有不同尺寸且定向于不同方向上的多个边界框；使用滑动窗口模板将所述多个边界框与所提取的多个特征对准；提供包括围绕所述多个对象的边界框的边界框图像；确定对象存在于每个边界框中的概率；及识别在所述多个边界框中每个对象的中心像素。该方法然后使用所述分割图像和所述深度图图像来识别用于拾取所述对象的位置，并且使用所述对象在所述分割图像中的定向来旋转所述对象，其中每次所述机器人从所述多个对象的组拾取对象时，执行获得彩色图像、获得深度图图像、生成分割图像和识别用于拾取所述对象的位置。

结合附图，从以下描述和所附权利要求，本公开的附加特征将变得显而易见。

附图说明

图1是包括从料箱拾取对象的机器人的机器人系统的图示；

图2是图1所示的机器人系统中的用于从料箱拾取对象的料箱拾取系统的示意性框图；

图3是与图2所示的系统分离的提供图像分割的分割模块的示意性框图；

图4是图3所示类型的分割模块的示意性框图，该模块也采用对象旋转补偿；以及

图5是采用图4中所示的分割模块并提供对象旋转补偿的图2中所示类型的料箱拾取系统的示意性框图。

具体实施方式