[发明专利]用于普通夹持器的抓持学习的高效数据生成

说明书

用于机器人拾取零件的抓持生成技术。为所有待评估的对象和夹持器提供实体或表面模型的数据库。选择夹持器并且执行随机初始化，其中从对象数据库选择随机的对象和姿态。然后执行迭代优化计算，其中，利用零件和夹持器之间的表面接触，针对每个零件计算数百个抓持，并且进行采样以用于抓持多样性和全局优化。最后，执行物理环境模拟，其中将每个零件的抓持映射到料箱场景中的模拟的对象堆。来自物理环境模拟的抓持点和接近方向然后被用于训练神经网络以用于在真实世界机器人操作中的抓持学习，其中模拟结果与相机深度图像数据相关联以识别高质量抓持。

技术领域

本公开总体上涉及一种生成用于机器人抓持零件的高品质抓持姿态的方法，并且更具体地涉及一种用于机器人抓持学习的方法，该方法包括随机初始化、迭代优化和物理环境模拟，在随机初始化中从大的对象数据库选择随机的对象和夹持器，在迭代优化中利用零件和夹持器之间的表面接触针对每个零件计算数百个抓持，在物理环境模拟中将针对每个零件的抓持应用于料箱中的模拟的对象堆。

背景技术

使用工业机器人来执行各种各样的制造、组装和材料移动操作是众所周知的。一种这样的应用是拾取和放置操作，例如其中机器人从料箱拾取各个零件并将每个零件放置在传送机或装运容器上。这种应用的一个例子是，已经模制或加工的零件落入料箱中，并以随机的位置和取向放置，机器人的任务是拾取每个零件，并将其以预定的取向(姿态)放置在传送机上，该传送机传送零件以便包装或进一步处理。另一个例子是在履行电子商务订单的仓库中，其中需要可靠地处理许多不同尺寸和形状的物品。根据料箱中的零件以堆的形式嵌套在一起的程度，指状夹持器或者抽吸型夹持器可以用作机器人工具。视觉系统(一个或多个相机)通常用于识别料箱中的各个零件的位置和取向。

传统的抓持生成方法手动地示教已知3D特征或对象上的拾取点。这些方法需要在启发式设计上花费的大量时间以便识别最佳抓持姿态，并且手动设计的启发式方法可能不适用于未知对象或遮挡物。由于使用启发式抓持示教的困难，基于学习的抓持检测方法由于其适应未知对象的能力而变得流行。

然而，现有的基于学习的抓持检测方法也具有其缺点。一种已知的基于学习的技术使用数学上严格的抓持质量来在将抓持候选馈送到卷积神经网络(CNN)分类器之前搜索这些候选，但是计算成本高，并且由于优化中包括的简化，解决方案在现实世界中可能不是最优的。为了产生逼真的抓持，另一种方法使用经验试验来收集数据，但是该方法对于复杂的力控制通常需要数万机器人小时，并且夹持器的任何改变需要重复整个过程。

鉴于上述情况，需要一种机器人抓持学习技术，其生成高质量抓持候选而无需人工示教，在计算上是高效的，并且提供可应用于涉及零件混杂在一起以及机器人臂与料箱两侧之间的碰撞避免的真实世界情形的抓持场景。

发明内容

根据本公开的教导，提出了一种用于机器人拾取零件的抓持生成技术。为所有待评估的对象和夹持器提供实体或表面模型的数据库。选择夹持器并且执行随机初始化，其中，从对象数据库选择随机的对象并且随机地初始化姿态。然后执行迭代优化计算，其中，利用零件和夹持器之间的表面接触，针对每个零件计算数百个抓持，并且进行采样以用于抓持多样性和全局优化。最后，执行物理环境模拟，其中，将每个零件的抓持映射到料箱场景中的模拟的对象堆。来自物理环境模拟的抓持点和接近方向然后被用于训练神经网络以用于在真实世界机器人操作中的抓持学习，其中，使模拟结果与相机深度图像数据相关联以识别高质量抓持。

结合附图，根据以下描述和所附权利要求，本公开的方法的附加特征将变得显而易见。

附图说明

图1是根据本公开的实施例的抓持生成过程的示意性流程图，该抓持过程计算在各个对象上的优化的抓持并将计算的抓持应用于对象模拟堆中的对象；

图2是根据本公开的实施例的图1的抓持生成过程的迭代优化框中包括的步骤的示意性流程图；

图3是根据本公开的实施例的图1的抓持生成过程的物理环境模拟框中包括的步骤的示意性流程图；以及