[发明专利]用于机器人代理的控制策略

说明书

一种方法，包括：接收数据，该数据针对一个或多个对象中的每个来识别与真实世界环境交互的机器人代理应当将该对象移动到的相应的目标位置；通过重复地执行下述来使得机器人代理将一个或多个对象移动到一个或多个目标位置：接收真实世界环境的当前状态的当前图像，使用基于当前动作和将要由机器人代理执行的动作预测未来图像的下一图像预测神经网络来根据当前图像确定将要由机器人代理执行的动作的下一序列，以及指示机器人代理执行动作的下一序列。

对相关申请的交叉引用

本申请要求于2016年9月15日提交的、序列号为62/395，329的美国临时申请的优先权。该在先申请的公开内容被认为是本申请的公开内容的一部分并且通过引用并入本申请的公开内容中。

技术领域

本说明书涉及选择将要由机器人代理执行的动作。

背景技术

机器人代理通过下述与环境交互：接收表征环境的状态的数据，并且作为响应、执行动作以便尝试执行机器人任务。一些机器人代理使用神经网络来选择响应于接收到任何给定观察(observation)而要执行的动作。

神经网络是采用一层或多层的非线性单元来预测针对所接收到的输入的输出的机器学习模型。一些神经网络是除了输出层之外还包括一个或多个隐藏层的深度神经网络。每个隐藏层的输出被用作网络中的下一层(即，下一隐藏层或输出层)的输入。网络的每个层根据相应的参数集的当前值来从接收到的输入生成输出。

发明内容

本说明书描述了被实施为一个或多个位置中的一个或多个计算机上的计算机程序的系统可以如何选择将要由机器人代理执行的动作。

通常，一个创新方面可以体现在一种方法中，该方法包括：接收数据，该数据针对一个或多个对象中的每个来识别与真实世界环境交互的机器人代理应当将该对象移动到的相应的目标位置。该方法还包括通过重复地执行下述来使得机器人代理将一个或多个对象移动到一个或多个目标位置：接收真实世界环境的当前状态的当前图像；使用基于当前动作和将要由机器人代理执行的动作预测未来图像的下一图像预测神经网络来根据当前图像确定将要由机器人代理执行的动作的下一序列，其中，下一序列是多个序列候选中的下述序列，该序列如果由机器人代理从环境处于当前状态时开始执行，则最有可能导致一个或多个对象被移动到相应的目标位置；以及指示(directing)机器人代理执行动作的下一序列。当前图像可以是由机器人代理的相机捕获的图像。

指示机器人代理执行动作的下一序列可以包括：指示机器人代理中断由机器人代理正在执行的动作的当前序列并且开始执行动作的下一序列。

该方法还可以包括：针对向用户的呈现，提供允许用户指定要移动的对象和目标位置的用户界面。

下一图像预测神经网络可以是已经被训练为进行下述的递归神经网络：接收至少当前图像和输入动作作为输入，并且处理该输入以生成下一图像，如果机器人代理在环境处于当前状态时执行输入动作，则该下一图像是环境的预测的下一状态的图像。作为生成下一图像的一部分，递归神经网络生成流图(flow map)，该流图针对下一图像中的多个像素中的每个，识别该像素从当前图像中的多个像素中的每个移动的相应的预测似然性(likelihood)。

确定动作的下一序列可以包括：使用由下一图像预测神经网络生成的流图，针对候选序列中的每个来确定由机器人代理执行该候选序列中的动作将会导致对象被移动到目标位置的相应的似然性。

确定动作的下一序列可以包括确定描绘当前位于环境中的一个或多个对象的当前图像中的一个或多个像素。

针对给定候选序列确定相应的似然性可以包括递归地将序列中的动作和由神经网络针对动作生成的下一图像作为输入而馈送到神经网络。

该方法可以进一步包括从可能的动作序列的分布中采样候选序列。采样候选序列可以包括：使用交叉熵(cross-entropy)技术执行多次采样迭代。