[发明专利]与基于捕获物体的图像并且基于用于环境中的未来机器人运动的参数来预测机器人环境中的物体运动有关的机器学习方法和装置

摘要

本说明书的一些实施方式通常涉及深度机器学习方法和装置，其涉及预测响应于机器人在环境中的特定运动而将对机器人的环境中的物体发生的运动(如果有的话)。一些实施方式涉及训练深度神经网络模型以预测机器人环境的图像的至少一个变换(如果有的话)，其将作为实现机器人在环境中的特定运动的至少一部分的结果而发生。训练的深度神经网络模型可以基于包括图像和定义特定运动的部分的一组机器人运动参数的输入来预测变换。

主权项

1.一种由一个或多个处理器实施的方法，包括：生成候选机器人运动参数，所述候选机器人运动参数定义可由机器人的一个或多个部件在机器人的环境中执行的候选运动的至少一部分；识别由与机器人相关的视觉传感器捕获的当前图像，所述当前图像捕获机器人的环境的至少一部分；将所述当前图像和候选机器人运动参数作为输入应用于训练的神经网络；生成所述当前图像的至少一个预测变换，基于将所述当前图像和候选机器人运动参数应用于训练的神经网络来生成所述预测变换；基于所述至少一个预测变换来变换所述当前图像以生成至少一个预测图像，如果候选运动的至少一部分由机器人的部件在环境中执行，则所述预测图像预测机器人的环境的部分。