[发明专利]用于识别感兴趣区的材料搬运方法、装置和系统

权利要求书

1.一种材料搬运方法，包括：

由图像处理单元基于图像捕获单元的视场(FOV)生成三维(3-D)点云数据，其中所述FOV包括集装箱的内部；

由所述图像处理单元识别所述集装箱内部的多个聚类区域；

由所述图像处理单元基于与所述3-D点云数据相关联的取向数据而从所述多个聚类区域中提取第一组聚类区域；

由所述图像处理单元确定所述第一组聚类区域的候选区，其中所述候选区包括聚类区域；

确定所述候选区的横截面积和所述集装箱的横截面积的比率；

当所确定的比率超过第一横截面阈值时，由机器学习单元确定所述候选区的分类分数；

由所述机器学习单元在所述候选区的所述分类分数超过第一分类阈值的情况下将所述候选区分类为感兴趣区；以及

由处理器基于与所述感兴趣区相关联的数据集限定所述集装箱中的导航路径，其中所述导航路径被配置为防止与所述感兴趣区的碰撞。

2.根据权利要求1所述的方法，其中生成所述3-D点云数据包括：累积：

基于由定位在材料搬运装置上的图像捕获单元捕获的所述FOV的点云数据生成的3-D点云数据，和

基于所述材料搬运装置的物品操纵器在所述FOV的扫描操作期间的移动而收集的运动学数据。

3.根据权利要求2所述的方法，还包括由所述图像处理单元将所述3-D点云数据的第一格式变换为第二格式，其中所述第一格式对应于光检测和测距帧，并且所述第二格式对应于与所述图像处理单元兼容的经变换帧。

4.根据权利要求3所述的方法，还包括由所述图像处理单元预处理所述3-D点云数据，其中所述预处理包括：

由所述图像处理单元从以所述第二格式的所述3-D点云数据中移除噪声数据点；

由所述图像处理单元分割从中移除所述噪声数据点的所述3-D点云数据；以及

由所述图像处理单元基于所述3-D点云数据的所述分割来确定所述多个聚类区域。

5.根据权利要求1所述的方法，还包括：

由所述图像处理单元至少基于第二组聚类区域相对于材料搬运装置的取向而从所述多个聚类区域中提取第二组聚类区域；以及

由所述图像处理单元确定所述集装箱的所述多个聚类区域中的所述第二组聚类区域中的每一个的类型，

其中所述第二组聚类区域中的每一个的所述类型对应于所述集装箱的侧壁、底板区域、或天花板区域中的一者，其中所述多个聚类区域中的所述第一组聚类区域对应于已停放的集装箱的后壁和产品壁。

6.根据权利要求5所述的方法，还包括：由所述图像处理单元获得已更新3-D点云数据，其中所述已更新3-D点云数据包括从中裁剪所述第二组聚类区域的3-D点云数据。

7.根据权利要求6所述的方法，还包括：

由所述图像处理单元分割所述已更新3-D点云数据；

由所述图像处理单元基于所述已更新3-D点云数据的所述分割来确定所述第一组聚类区域；以及

由所述图像处理单元将所述候选区识别为所述第一组聚类区域中的设置在所述第一组聚类区域与所述第二组聚类区域之间的相交区域处的所述聚类区域，其中所述候选区限定2-D深度图。

8.根据权利要求7所述的方法，还包括：

由所述图像处理单元将所述已更新3-D点云数据转换成范围图像，其中所述2-D深度图的生成基于所述范围图像并且对应于与所述3-D点云数据中的点相关联的深度信息。

9.根据权利要求7所述的方法，还包括：

由所述处理器基于所述候选区的定位来生成与所述感兴趣区相关联的所述数据集；以及

由所述处理器将与所述感兴趣区相关联的所述数据集传输到与所述材料搬运装置相关联的可编程逻辑控制器。

10.根据权利要求7所述的方法，还包括：

由所述处理器将所识别的候选区提供给经训练的单输入卷积神经网络模块；

由所述卷积神经网络模块确定与所识别的候选区相关联的分数；

由所述卷积神经网络模块在所述分类分数超过第二分类阈值的情况下将所识别的候选区分类为感兴趣区，其中所述感兴趣区是所述集装箱的后壁；以及

由所述卷积神经网络模块在所述分类分数未超过所述第二分类阈值的情况下将所识别的候选区分类为产品壁。