[发明专利]用于机器人代理的控制策略

权利要求书

1.一种方法，包括：

接收数据，所述数据针对一个或多个对象中的每个来识别与真实世界环境交互的机器人代理应当将所述对象移动到的相应的目标位置；以及

通过重复地执行下述来使得机器人代理将所述一个或多个对象移动到所述一个或多个目标位置：

接收真实世界环境的当前状态的当前图像；

使用基于当前动作和将要由机器人代理执行的动作预测未来图像的下一图像预测神经网络来根据当前图像确定将要由机器人代理执行的动作的下一序列，

其中，下一序列是多个候选序列中的下述序列，所述序列如果由机器人代理从环境处于当前状态时开始执行，则最有可能导致一个或多个对象被移动到相应的目标位置；以及

指示机器人代理执行动作的下一序列。

2.根据权利要求1所述的方法，其中，所述当前图像是由机器人代理的相机捕获的图像。

3.根据权利要求1或2中任一项所述的方法，还包括：

针对向用户的呈现，提供允许用户指定要移动的对象和目标位置的用户界面。

4.根据权利要求1至3中任一项所述的方法，其中，指示机器人代理执行动作的下一序列包括：

指示机器人代理中断由机器人代理正在执行的动作的当前序列并且开始执行动作的下一序列。

5.根据权利要求1至4中任一项所述的方法，其中，所述下一图像预测神经网络是已经被训练为进行下述的递归神经网络：

接收至少当前图像和输入动作作为输入，以及

处理所述输入以生成下一图像，如果机器人代理在环境处于当前状态时执行输入动作，则所述下一图像是环境的预测的下一状态的图像，以及

其中，作为生成下一图像的一部分，递归神经网络生成流图，所述流图针对下一图像中的多个像素中的每个，识别所述像素从当前图像中的多个像素中的每个移动的相应的预测似然性。

6.根据权利要求5所述的方法，其中，所述确定动作的下一序列包括：使用由下一图像预测神经网络生成的流图，针对候选序列中的每个来确定由机器人代理执行所述候选序列中的动作将会导致对象被移动到目标位置的相应的似然性。

7.根据权利要求6所述的方法，其中，所述确定动作的下一序列包括：

确定描绘当前位于环境中的所述一个或多个对象的当前图像中的一个或多个像素。

8.根据权利要求6或7所述的方法，其中，所述针对给定候选序列确定相应的似然性包括递归地将序列中的动作和由神经网络针对动作生成的下一图像作为输入而馈送到神经网络。

9.根据权利要求1至8中任一项所述的方法，进一步包括：

从可能的动作序列的分布中采样候选序列。

10.根据权利要求9所述的方法，其中，所述采样候选序列包括：

使用交叉熵技术执行多次采样迭代。

11.存储有指令的一个或多个计算机和一个或多个存储设备，所述指令当由所述一个或多个计算机运行时，使得所述一个或多个计算机执行根据权利要求1至10中的任一项所述的相应方法的操作。

12.采用指令编码的一个或多个计算机存储介质中，所述指令当由一个或多个计算机运行时，使得所述一个或多个计算机执行根据权利要求1至10中的任一项所述的相应方法的操作。

13.计算机可读指令，所述指令当由一个或多个计算机运行时，使得所述一个或多个计算机执行根据权利要求1至10中的任一项所述的方法的操作。