[发明专利]用于AI卸垛的失败检测和恢复

权利要求书

1.一种用于识别和校正一组多个对象的图像中的不准确描绘的对象的方法，所述方法包括：

使用3D相机获得所述多个对象的2D红-绿-蓝(RGB)彩色图像；

使用所述3D相机获得所述多个对象的2D深度图图像，其中所述深度图图像中的像素被分配识别从所述相机到所述多个对象的距离的值；

处理所述RGB图像和所述深度图图像以生成所述多个对象的处理的图像；

分析所述处理的图像以确定在所述处理的图像中是否准确地描绘所述多个对象；

如果分析所述处理的图像确定处理所述RGB图像和所述深度图图像未能在所述处理的图像中准确地描绘所述多个对象，则将所述处理的图像发送到用户界面，所述用户界面允许用户校正所述处理的图像；

存储准确的处理的图像、失败的处理的图像和校正的处理的图像；

使用所存储的准确的处理的图像、失败的处理的图像和校正的处理的图像来训练所述RGB图像和所述深度图图像的处理；以及

将经训练的处理的图像应用于新的RGB和深度图图像。

2.根据权利要求1所述的方法，其中，所述多个对象是多个箱子，并且其中，处理所述RGB图像和所述深度图图像包括通过执行图像分割过程使用神经网络来生成所述多个箱子的分割图像，所述图像分割过程从所述RGB图像提取特征，并且通过向所述RGB图像中的像素分配标签使得所述分割图像中的每个箱子具有相同的标签并且所述分割图像中的不同箱子具有不同的标签来分割所述多个箱子。

3.根据权利要求2所述的方法，其中，分析所述处理的图像包括通过分析所述分割图像中的所述多个箱子的标签以确定所述分割图像中的箱子是否尚未被不同的标签标识来识别遗漏的检测的箱子。

4.根据权利要求3所述的方法，其中，生成分割图像包括提供围绕所述分割图像中的每个被贴标签的箱子的边界框，并且其中，所述分割图像中的尚未被不同的标签标识的箱子不具有边界框。

5.根据权利要求4所述的方法，其中，分析所述分割图像中的所述多个箱子的标签包括对来自所述深度图图像的每个边界框内的具有相同距离值的像素进行计数，且如果存在超过预定阈值的一个以上像素计数，则确定所述边界框内存在一个以上箱子。

6.根据权利要求2所述的方法，其中，分析所述处理的图像包括识别部分分割的箱子。

7.根据权利要求6所述的方法，其中，生成分割图像包括为围绕所述分割图像中的每个箱子的多个边界框提供每个边界框识别所述分割图像中的箱子的不同的置信度，并且其中，分析所述分割图像包括观察围绕所述分割图像中的每个箱子的所述多个边界框的重叠相交比，其中，预定的低相交比指示图像中的部分分割的箱子。

8.根据权利要求1所述的方法，其中，生成分割图像包括提供围绕所述分割图像中的每个箱子的边界框，并且其中，分析所述分割图像包括通过查看所述分割图像中的每个边界框的尺寸以确定边界框是大于最大尺寸的箱子还是小于所述最小尺寸的箱子，来识别所述分割图像中的分割的箱子是大于还是小于预定的最大尺寸或最小尺寸的箱子。

9.根据权利要求1所述的方法，其中分析所述处理的图像包括通过在所述多个箱子被放置在空运货板上之前获得所述空运货板的深度图图像来识别所述空运货板，将所述空运货板深度图图像与来自所述3D相机的所述深度图图像进行比较，并且如果阈值以上的足够像素指示相同距离，则识别所述空运货板。