[发明专利]递归环境预测器及其方法

权利要求书

1.一种计算系统，包括：

递归神经网络，由一个或多个计算机实现并且被配置为在多个时间步骤中的每个处：

接收先前的时间步骤的先前的动作，所述先前的动作是在先前的时间步骤处由与环境交互的代理执行的或者在先前的时间步骤处由所述代理要执行的动作；

使用先前的动作从先前的时间步骤更新递归神经网络的先前的初始隐藏状态，以生成该时间步骤的初始隐藏状态；以及

至少使用该时间步骤的初始隐藏状态从先前的时间步骤更新递归神经网络的先前的单元状态，以生成该时间步骤的单元状态；以及

使用该时间步骤的单元状态确定该时间步骤的最终隐藏状态，

其中，在所述多个时间步骤的一个或多个初始时间步骤中的每个处：

接收表征在先前的时间步骤处的环境的实际状态的先前的实际观察的编码表示；以及

使用先前的实际观察的编码表示和该时间步骤的初始隐藏状态，从先前的时间步骤更新递归神经网络的先前的单元状态，以生成该时间步骤的单元状态；以及

解码器神经网络，由一个或多个计算机实现并且被配置为在多个时间步骤中的一个或多个时间步骤中的每个处：

接收该时间步骤的最终隐藏状态；以及

处理最终隐藏状态以生成表征该时间步骤处的环境的预测状态的预测观察。

2.根据权利要求1所述的系统，其中，所述预测观察是在该时间步骤处的环境的预测图像。

3.根据权利要求1或权利要求2中任何一项所述的系统，其中，更新所述先前的初始隐藏状态包括：

将第一参数矩阵应用于先前的最终隐藏状态以生成变换的先前的最终隐藏状态；

将第二参数矩阵应用于先前的动作以生成变换的先前的动作；以及

将变换的先前的隐藏状态和变换的先前的动作组合，以生成初始隐藏状态。

4.根据权利要求1或2中任一项所述的系统，其中，更新所述先前的初始隐藏状态包括：

对于不同动作，应用具有不同参数的维度保持卷积。

5.根据权利要求1所述的系统，还包括：

编码器神经网络，由一个或多个计算机实现并且被配置为在一个或多个初始时间步骤中的每个处：

接收先前的实际观察；以及

处理先前的实际观察以生成先前的实际观察的编码表示。

6.根据权利要求1或权利要求5中任何一项所述的系统，其中，所述递归神经网络还被配置为：

在一个或多个初始时间步骤之后的多个时间步骤的每个时间步骤处：

接收由解码器神经网络生成的先前的预测观察的编码表示，所述先前的预测观察表征在先前的时间步骤处的环境的预测状态；以及

使用先前的预测观察的编码表示和该时间步骤的初始隐藏状态，从先前的时间步骤更新递归神经网络的先前的单元状态，以生成该时间步骤的单元状态。

7.根据权利要求6所述的系统，其中，所述解码器神经网络被配置为在一个或多个初始时间步骤之后的每个时间步骤处生成预测观察。

8.根据权利要求1或权利要求2中任何一项所述的系统，其中，所述递归神经网络还被配置为：

在一个或多个初始时间步骤之后的多个时间步骤中的每个时间步骤处：

使用该时间步骤的初始隐藏状态和代替先前的实际观察的编码表示的来自先前的时间步骤的先前的最终隐藏状态，从先前的时间步骤更新递归神经网络的先前的单元状态，以生成该时间步骤的单元状态。

9.根据权利要求8所述的系统，其中，所述递归神经网络对于初始时间步骤中的每个使用第一参数集合，并且对于在一个或多个初始时间步骤之后的每个时间步骤使用第二参数集合。

10.根据权利要求8所述的系统，其中，所述解码器神经网络被配置为仅在一个或多个初始时间步骤之后的时间步骤的子集处生成预测观察。