[发明专利]用于机器人纸箱卸载的视觉校准系统

权利要求书

1.一种校准纸箱检测系统的方法，所述方法包括：

接收校准对象的三维(3D)点云；

通过将所述校准对象的所述3D点云与点云模板进行比较来确定所述校准对象的3D目标姿态；

接收所述校准对象的二维(2D)光学图像；

基于所述校准对象的所述2D光学图像来识别所述校准对象的一个或多个标记；

基于所述2D光学图像来确定所述校准对象的所述一个或多个标记中的每一个的标记姿态；

基于所述校准对象的所述一个或多个标记中的每一个的所述标记姿态来确定2D目标姿态；

基于所述3D目标姿态和所述2D目标姿态来生成变换矩阵；以及

基于所述变换矩阵来校准所述纸箱检测系统。

2.根据权利要求1所述的方法，其中识别所述校准对象的所述一个或多个标记包括从所述2D光学图像检测所述一个或多个标记的一个或多个边缘和拐角。

3.根据权利要求1所述的方法，其中确定所述一个或多个标记中的每一个的所述标记姿态包括基于相机焦点和标记大小中的至少一者来估计所述标记姿态。

4.根据权利要求1所述的方法，其中基于所述标记姿态来确定所述2D目标姿态还包括确定所述一个或多个标记中的每一个的标记位置。

5.根据权利要求1所述的方法，其中生成所述变换矩阵包括生成旋转子矩阵和平移子矩阵。

6.根据权利要求5所述的方法，还包括基于滚转角、俯仰角或偏转角中的一者或多者来生成所述旋转子矩阵。

7.根据权利要求5所述的方法，还包括基于所述3D点云、所述2D光学图像和所述点云模板中的一者或多者之间的平移来生成所述平移子矩阵。

8.根据权利要求1所述的方法，其中生成所述变换矩阵还包括：

基于所述3D目标姿态来生成3D_到_目标变换矩阵；

基于所述2D目标姿态来生成2D_到_目标变换矩阵；以及

基于所述3D_到_目标变换矩阵和所述2D_到_目标变换矩阵来生成所述变换矩阵。

9.根据权利要求1所述的方法，其中校准所述纸箱检测系统包括基于所述变换矩阵来将所述3D点云中的一个或多个点投影到所述2D光学图像上。

10.一种用于卸载纸箱的机器人纸箱搬运系统，所述机器人纸箱搬运系统包括：

移动主体；

可移动机器人操纵器，所述可移动机器人操纵器附接到所述移动主体，其中所述可移动机器人操纵器包括端部执行器，所述端部执行器被配置为从纸箱堆卸载一个或多个纸箱；和

纸箱检测系统，所述纸箱检测系统包括：

一个或多个传感器，所述一个或多个传感器联接到所述移动主体或所述可移动机器人操纵器中的至少一者，其中所述一个或多个传感器被配置为提供校准对象的二维(2D)光学图像和三维(3D)点云；和

处理子系统，所述处理子系统与所述一个或多个传感器通信，其中所述处理子系统被配置为：

从所述一个或多个传感器接收所述校准对象的所述3D点云；

通过将所述校准对象的所述3D点云与点云模板进行比较来确定所述校准对象的3D目标姿态；

接收所述校准对象的所述2D光学图像；

基于所述校准对象的所述2D光学图像来识别所述校准对象的一个或多个标记；

基于所述2D光学图像来确定所述校准对象的所述一个或多个标记中的每一个的标记姿态；

基于所述校准对象的所述一个或多个标记中的每一个的所述标记姿态来确定2D目标姿态；

基于所述3D目标姿态和所述2D目标姿态来生成变换矩阵；以及

基于所述变换矩阵来校准所述纸箱检测系统。