[发明专利]用于机器人纸箱卸载的视觉校准系统

说明书

本公开题为“用于机器人纸箱卸载的视觉校准系统”。本公开涉及一种用于校准纸箱检测系统的方法和系统。方法包括：接收校准对象的三维(3D)点云；通过将3D点云与点云模板进行比较来确定校准对象的3D目标姿态；接收校准对象的二维(2D)光学图像；基于2D光学图像来识别校准对象的一个或多个标记；基于2D光学图像来确定一个或多个标记中的每一个的标记姿态；基于一个或多个标记中的每一个的标记姿态来确定2D目标姿态；基于3D目标姿态和2D目标姿态来生成变换矩阵；以及基于变换矩阵来校准纸箱检测系统。

技术领域

本发明的示例性实施方案整体涉及物料搬运系统，并且更具体地涉及机器视觉系统。

背景技术

在大容量配送和物流中心，大型卡车装运物可能由人工手动卸载(一种可能需要体力且成本高的操作)，或者在物料搬运系统的帮助下卸载。在辅助环境中，由于对配送中心的总体效率的影响，因此必须对物料搬运系统部件的位置、取向和/或定位进行控制，以避免卸载错误。申请人已识别出与卸载系统相关联的若干技术挑战以及其他相关联的系统和方法。通过所付努力、智慧和创新，包括在本发明的实施方案中的开发解决方案已经克服了许多这些识别的挑战，本文详细描述了这些解决方案的许多示例。

发明内容

下文给出了简要发明内容，以提供对所公开的物料搬运系统的一些方面的基本理解。该发明内容不是详尽综述，并且既非旨在识别关键元件或重要元件，亦非描写此类元件的范围。其目的在于作为后文所提供的具体实施方式的序言，以简化形式给出所述特征的一些概念。

本公开的实施方案涉及用于在物料搬运环境中卸载纸箱的系统和方法。根据本公开的至少一个方面，提供了一种校准纸箱检测系统的方法。所述方法可包括：接收校准对象的三维(3D)点云；通过将所述校准对象的所述3D点云与点云模板进行比较来确定所述校准对象的3D目标姿态；接收所述校准对象的二维(2D)光学图像；基于所述校准对象的所述2D光学图像来识别所述校准对象的一个或多个标记；基于所述2D光学图像来确定所述校准对象的所述一个或多个标记中的每一个的标记姿态；基于所述校准对象的所述一个或多个标记中的每一个的所述标记姿态来确定2D目标姿态；基于所述3D目标姿态和所述2D目标姿态来生成变换矩阵；以及基于所述变换矩阵来校准所述纸箱检测系统。

根据本公开的一个或多个实施方案，识别所述校准对象的所述一个或多个标记可包括从所述2D光学图像检测所述一个或多个标记的一个或多个边缘和拐角。

根据本公开的一个或多个实施方案，确定所述一个或多个标记中的每一个的所述标记姿态可包括基于相机焦点和标记大小中的至少一者来估计所述标记姿态。

根据本公开的一个或多个实施方案，基于所述标记姿态来确定所述2D目标姿态还可包括确定所述一个或多个标记中的每一个的标记位置。

根据本公开的一个或多个实施方案，生成所述变换矩阵可包括生成旋转子矩阵和平移子矩阵。所述方法还可包括基于滚转角、俯仰角和/或偏转角中的一者或多者来生成所述旋转子矩阵。根据本公开的一个或多个实施方案，所述方法还可包括基于所述3D点云、所述2D光学图像和所述点云模板中的一者或多者之间的平移来生成所述平移子矩阵。

根据本公开的一个或多个实施方案，生成所述变换矩阵还可包括基于所述3D目标姿态生成3D_到_目标变换矩阵，基于所述2D目标姿态生成2D_到_目标变换矩阵，以及基于所述3D_到_目标变换矩阵和所述2D_到_目标变换矩阵生成所述变换矩阵。

根据本公开的一个或多个实施方案，校准所述纸箱检测系统可包括基于所述变换矩阵来将所述3D点云中的一个或多个点投影到所述2D光学图像上。