[发明专利]与基于捕获物体的图像并且基于用于环境中的未来机器人运动的参数来预测机器人环境中的物体运动有关的机器学习方法和装置

权利要求书

1.一种基于捕获的图像和机器人运动参数控制机器人执行候选运动的由一个或多个处理器实施的方法，包括：

生成候选机器人运动参数，所述候选机器人运动参数定义可由机器人的一个或多个部件在机器人的环境中执行的候选运动的至少一部分；

识别由与机器人相关的视觉传感器捕获的当前图像，所述当前图像捕获机器人的环境的至少一部分；

采用动作条件运动预测模型，将所述当前图像和候选机器人运动参数作为输入应用于训练的神经网络，所述动作条件运动预测模型通过预测来自先前帧的像素运动的分布来显示建模像素运动；

生成所述当前图像的至少一个预测变换，基于将所述当前图像和候选机器人运动参数应用于训练的神经网络来生成所述预测变换；

基于所述至少一个预测变换来变换所述当前图像以生成至少一个预测图像，如果候选运动的至少一部分由机器人的部件在环境中执行，则所述预测图像预测机器人的环境的部分；

基于所述预测图像，确定执行所述候选运动；和

向机器人的一个或多个致动器提供一个或多个控制命令以执行所述候选运动。

2.根据权利要求1所述的方法，还包括：

基于将所述当前图像和候选机器人运动参数应用于训练的神经网络，生成至少一个合成掩模；

其中，变换所述当前图像还基于所述至少一个合成掩模。

3.根据权利要求2所述的方法，其中，所述至少一个预测变换包括多个预测变换，其中，所述至少一个合成掩模包括多个合成掩模，并且其中，基于所述至少一个预测变换来变换所述当前图像以生成所述预测图像包括：

基于所述多个预测变换生成多个预测图像；和

基于所述多个合成掩模合成预测图像以生成所述预测图像。

4.根据权利要求1所述的方法，还包括：

生成第二候选机器人运动参数，所述第二候选机器人运动参数定义可由所述部件中的一个或多个在环境中执行的第二候选运动的至少一部分，所述第二候选运动可执行以代替所述候选运动；

将所述当前图像和第二候选机器人运动参数作为输入应用于训练的神经网络；

生成所述当前图像的至少一个第二预测变换，基于将所述当前图像和第二候选机器人运动参数应用于训练的神经网络来生成所述第二预测变换；

基于所述第二预测变换来变换所述当前图像的一个或多个像素以生成至少一个第二预测图像，如果所述第二候选运动的至少一部分由机器人的部件在环境中执行，则所述第二预测图像预测机器人的环境的部分。

5.根据权利要求4所述的方法，还包括：

基于所述预测图像和第二预测图像，选择所述候选运动或第二候选运动；和

向机器人的一个或多个致动器提供一个或多个控制命令以执行所述候选运动和第二候选运动中的所选择的一个。

6.根据权利要求1所述的方法，还包括：

生成连续候选机器人运动参数，所述连续候选机器人运动参数定义在所述候选运动的所述部分之后的所述候选运动的另一部分；

将所述预测图像和连续候选机器人运动参数应用于训练的神经网络；

生成所述预测图像的至少一个连续预测变换，基于将所述预测图像和连续候选机器人运动参数应用于训练的神经网络来生成所述连续预测变换；

基于所述连续预测变换来变换所述预测图像以生成连续预测图像。

7.根据权利要求6所述的方法，还包括：

基于所述预测图像和连续预测图像，确定执行所述候选运动；和

向机器人的一个或多个致动器提供一个或多个控制命令以执行所述候选运动。

8.根据权利要求1所述的方法，其中，所述训练的神经网络包括多个堆叠的卷积长短期存储层。

9.根据权利要求1所述的方法，其中，所述当前图像的至少一个预测变换包括一个或多个空间变换器的参数。