[发明专利]用于识别感兴趣区的材料搬运方法、装置和系统

说明书

所公开的实施方案涉及一种材料搬运方法，该材料搬运方法基于图像捕获单元的视场生成三维(3‑D)点云数据。基于3‑D点云数据的取向数据从多个聚类区域中提取第一组聚类区域。另外，基于3‑D点云数据生成二维深度图。确定与来自第一组聚类区域的聚类区域相对应的候选区。确定聚类区域的横截面积与集装箱的横截面积的比率，该比率超过第一横截面阈值。因此，当所确定的比率超过第一横截面阈值时，确定候选区的分类分数。响应于将候选区分类为感兴趣区，限定集装箱中的防止与感兴趣区的碰撞的导航路径。

技术领域

本公开的示例性实施方案整体涉及材料搬运系统，并且更具体地讲，涉及感兴趣区的识别。

背景技术

在工作场所(诸如仓库)中，集装箱的装载和卸载是可由工人手动执行和/或由可能以半自主和全自主模式操作的机器辅助的常见操作。机器(诸如传送带、叉车机器、机器人纸箱装载器/卸载器等)可以用于操纵放置在集装箱、卡车或移动式自主车辆中的产品。为了使机器以完全自主模式操作，可以要求机器区分产品并且识别产品的位置以便在集装箱内安全操作。

申请人已经识别出与现有方法相关联的许多缺陷和问题。通过所付努力、智慧和创新，根据本公开的实施方案的开发解决方案已经解决了许多这些识别的缺陷和问题，本文详细描述了这些解决方案的许多示例。

发明内容

本文的各种实施方案涉及在材料搬运环境中提供增加的安全性的方法、装置和系统。参考所要求保护的方法，一种用于材料搬运的方法可以包括由图像处理单元基于图像捕获单元的视场(FOV)生成三维(3-D)点云数据，并且FOV可以包括集装箱的内部。方法还可以包括由图像处理单元识别集装箱内部的多个聚类区域，以及由图像处理单元基于与3-D点云数据相关联的取向数据而从多个聚类区域中提取第一组聚类区域。方法还可以包括由图像处理单元基于3-D点云数据生成二维(2-D)深度图，以及由图像处理单元确定第一组聚类区域的候选区。候选区可以包括其聚类区域的横截面积与集装箱的横截面积的比率超过第一横截面阈值的聚类区域。方法还可以包括由机器学习单元确定候选区的分类分数，以及由机器学习单元在候选区的分类分数超过第一分类阈值的情况下将候选区分类为感兴趣区。方法还可以包括由处理器基于与感兴趣区相关联的数据集限定集装箱中的导航路径。导航路径可以被配置为防止与感兴趣区的碰撞。

在一些情况下，生成3-D点云数据可以包括累积基于由位于材料搬运装置上的图像捕获单元捕获的FOV的点云数据生成的3-D点云数据，以及基于材料搬运装置的物品操纵器在FOV的扫描操作期间的移动而收集的运动学数据。在这种实施方案中，方法还可以包括由图像处理单元将3-D点云数据的第一格式变换为第二格式。第一格式可以对应于光检测和测距帧，并且第二格式可以对应于与图像处理单元兼容的经变换帧。

在一些实施方案中，方法还包括由图像处理单元预处理3-D点云数据。预处理可以包括由图像处理单元从以第二格式的3-D点云数据中移除噪声数据点，由图像处理单元分割从中移除噪声数据点的3-D点云数据，以及由图像处理单元基于3-D点云数据的分割来确定多个聚类区域。

在一些实施方案中，方法可以包括由图像处理单元至少基于第二组聚类区域相对于材料搬运装置的取向而从多个聚类区域中提取第二组聚类区域，以及由图像处理单元确定集装箱的多个聚类区域中的第二组聚类区域中的每一个的类型。第二组聚类区域中的每一个的类型可以对应于集装箱的侧壁、底板区域、或天花板区域中的一者，并且多个聚类区域中的第一组聚类区域可以对应于已停放的集装箱的后壁和产品壁。在这种实施方案中，方法还可以包括由图像处理单元获得已更新3-D点云数据。已更新3-D点云数据可以包括从中裁剪第二组聚类区域的3-D点云数据。

在一些实施方案中，方法还可以包括由图像处理单元分割已更新3-D点云数据，以及由图像处理单元基于已更新3-D点云数据的分割来确定第一组聚类区域。另外，方法可以包括由图像处理单元将候选区识别为第一组聚类区域中的设置在第一组聚类区域与第二组聚类区域之间的相交区域处的聚类区域，其中候选区限定2-D深度图。