[发明专利]使用循环神经网络的机器人末端执行器的视点不变的视觉伺服

说明书

训练和/或使用循环神经网络模型用于机器人的末端执行器的视觉伺服。在视觉伺服中，该模型可以用于在多个时间步中的每个生成动作预测，该动作预测表示应如何移动末端执行器以使末端执行器向目标对象移动的预测。该模型可以是视点不变的，因为它可以跨在各种视点具有视觉组件的各种机器人使用，和/或即使机器人的视觉组件的视点剧烈改变，也可以用于单个机器人。此外，可以基于大量的模拟数据来训练模型，该模拟数据基于关于模型执行模拟片段的模拟器。可以基于相对较少数量的真实训练数据来进一步训练模型的一个或多个部分。

背景技术

许多机器人被配置为利用一个或多个末端执行器来执行一个或多个机器人任务，诸如抓握和/或其他操纵任务。例如，机器人可以利用抓握末端执行器，诸如“冲击式(impactive)”抓手或“侵入式(ingressive)”抓手(例如，使用大头针、针等物理穿透对象)来从第一位置拾取对象，移动对象到第二位置，并且在第二位置放下对象。可抓握对象的机器人末端执行器的一些其他示例包括“收缩式(astrictive)”末端执行器(例如，使用吸力或真空来拾取对象)和“接触式(contigutive)”末端执行器(例如，使用表面张力、冷冻或粘合剂来拾取对象)。

已经提出了用于诸如抓握的机器人操纵任务的各种基于机器学习的方法。其中一些方法训练机器学习模型(例如，前馈深度神经网络)以生成用于机器人抓握的视觉伺服中利用的一个或多个预测，并使用基于来自试图对各种对象进行机器人抓握的真实世界的物理机器人的数据的训练示例来训练机器学习模型。例如，可以基于用于迭代的对应图像和用于迭代的候选运动矢量来训练机器学习模型，以预测在多个迭代中的每个迭代上成功抓握的可能性。对应图像可以是机器人的视觉传感器捕获的最新图像，并且候选运动矢量可以是机器人正在考虑实施的运动矢量。基于每次迭代成功抓握的可能性，可以确定是否试图抓握或替代地实现候选运动矢量，并执行预测成功抓握的可能性的另一迭代。

然而，这些和/或其他方法可能具有一个或多个缺点。例如，至少部分地基于来自机器人的视觉组件的输入图像生成用于由机器人使用的预测的一些机器学习模型，在视觉组件具有相对于训练了机器学习模型的视点略有变化的视点的情况下可以是强健的，但是由于视点的严重变化可能不准确和/或失败。例如，各种方法训练机器学习模型以至少部分地基于训练示例的输入图像来生成对机器人的操纵预测，其中用于训练示例的输入图像全部是从相同或相似的视点捕获的。尽管这样的机器学习模型适用于从相同或相似的视点捕获图像的机器人，但它们用于在从不同的视点捕获图像的机器人中使用时可能不准确和/或失败。

作为缺点的另一示例，各种方法严重地或排他地依赖于基于来自真实世界的物理机器人的数据而生成的训练示例，这在试图机器人抓握或其他操纵时需要大量使用物理机器人。这可能很费时间(例如，实际上试图大量抓握需要大量时间)，可能消耗大量资源(例如，操作机器人所需的电力)，可能给正在使用的机器人造成磨损，和/或可能需要很大的人工干预(例如，放置要抓握的对象、纠正错误条件)。

发明内容

该说明书通常针对与机器人视觉伺服有关的方法和装置。更具体地，各种实现方式针对用于训练和/或使用机器人的末端执行器的视觉伺服的循环神经网络模型的技术。在视觉伺服中，可以使用循环神经网络模型在多个时间步中的每个生成动作预测，该动作预测表示应如何移动末端执行器(例如，移动方向)以引起末端执行器移向目标对象的预测。例如，动作预测可以指示用于来回移动末端执行器的三维(3D)(例如，“X，Y，Z”)速度。在每个时间步，该预测可以基于使用循环神经网络模型处理捕获目标对象的查询图像(例如，聚焦在目标对象上的裁剪或缩放图像)、该时间步的当前场景图像(包括目标对象、机器人的末端执行器和可选的附加场景对象)、以及表示先前时间步的动作预测的先前动作表示。先前动作表示可以是神经网络模型的先前时间步的动作预测的内部表示。在初始时间步处，先前动作表示可以是“无效”动作预测(指示没有动作)，或可以基于未参考使用循环神经网络模型生成的动作预测而先前实施的动作。