[发明专利]与基于捕获物体的图像并且基于用于环境中的未来机器人运动的参数来预测机器人环境中的物体运动有关的机器学习方法和装置

说明书

本说明书的一些实施方式通常涉及深度机器学习方法和装置，其涉及预测响应于机器人在环境中的特定运动而将对机器人的环境中的物体发生的运动(如果有的话)。一些实施方式涉及训练深度神经网络模型以预测机器人环境的图像的至少一个变换(如果有的话)，其将作为实现机器人在环境中的特定运动的至少一部分的结果而发生。训练的深度神经网络模型可以基于包括图像和定义特定运动的部分的一组机器人运动参数的输入来预测变换。

技术领域

背景技术

许多机器人被编程为利用一个或多个末端执行器来操纵一个或多个物体。例如，机器人可以利用末端执行器将力施加到物体上并引起该物体的运动。例如，机器人可以利用抓握末端执行器或其他末端执行器来移动物体而不必抓住该物体。此外，例如，机器人可以利用抓握末端执行器比如“冲击式”抓取器或“渐进式”抓取器(例如使用销、针等物理地穿透物体)从第一位置拾取物体，将物体移动到第二位置，然后在第二位置放下物体。

发明内容

本说明书的一些实施方式通常涉及深度机器学习方法和装置，其涉及预测响应于机器人在环境中的特定运动而将对机器人的环境中的物体发生的运动(如果有的话)。一些实施方式涉及训练深度神经网络模型以预测机器人环境的图像的至少一个变换(如果有的话)，其将作为实现机器人在环境中的特定运动的至少一部分的结果而发生。训练的深度神经网络模型可以基于包括(1)图像和(2)定义特定运动的部分的机器人运动参数的输入来预测变换。可以利用预测的变换来变换图像以生成机器人环境的预测图像，其中预测图像预测机器人的环境是要发生的特定运动的部分。换句话说，预测图像示出了在特定运动的一部分发生之后机器人的环境的预测，并且可以用于例如预测将作为特定运动的结果而发生的环境中的物体的运动。

预测的运动可以用于各种目的，例如确定是否向机器人的致动器提供控制命令以实现特定运动。例如，可以将预测的运动与期望的运动进行比较，并且如果预测的运动符合期望的运动则实施控制命令。以这种方式，特定运动的结果可以在实施特定运动之前被有效地“可视化”，并且如果结果是期望的，则实施特定运动。如本文所述，在各种实施方式中，深度神经网络模型基于用于那些未来时间步骤的候选运动参数来预测多个未来时间步骤中的每一个的图像，从而使得能够有效地可视化进入未来的许多时间步骤。

在一些实施方式中，提供了一种方法，其包括生成候选机器人运动参数，所述候选机器人运动参数定义可由机器人的一个或多个部件在机器人的环境中执行的候选运动的至少一部分。所述方法还包括识别由与机器人相关的视觉传感器捕获的当前图像。所述当前图像捕获机器人的环境的至少一部分。所述方法还包括：将所述当前图像和候选机器人运动参数作为输入应用于训练的神经网络；和基于将所述当前图像和候选机器人运动参数应用于训练的神经网络来生成所述预测变换来生成所述当前图像的至少一个预测变换。所述方法还包括基于所述至少一个预测变换来变换所述当前图像以生成至少一个预测图像。如果候选运动的至少一部分由机器人的部件在环境中执行，则所述预测图像预测机器人的环境的部分。

这些和其他实施方式可以可选地包括以下特征中的一个或多个。

在一些实施方式中，该方法还包括：基于所述预测图像，确定执行所述候选运动；和向机器人的一个或多个致动器提供一个或多个控制命令以执行所述候选运动。

在一些实施方式中，该方法还包括：基于所述预测图像，确定执行替代运动以代替所述候选运动；和向机器人的一个或多个致动器提供一个或多个控制命令以执行所述替代运动。

在一些实施方式中，该方法还包括基于将所述当前图像和候选机器人运动参数应用于训练的神经网络，生成至少一个合成掩模(mask)。变换所述当前图像还基于所述至少一个合成掩模。作为一个示例，所述至少一个预测变换可以包括多个预测变换，所述至少一个合成掩模可以包括多个合成掩模，并且基于所述至少一个预测变换来变换所述当前图像以生成所述预测图像可以包括：基于所述多个预测变换生成多个预测图像；和基于所述多个合成掩模合成预测图像以生成所述预测图像。