[发明专利]神经情节控制

权利要求书

1.一种强化学习方法，包括：

由一个或多个计算机维护多个动作中的每个动作的相应的情节存储器数据，其中，每个动作的情节存储器数据将相应的多个键嵌入中的每一个映射到相应的返回估计；

由一个或多个计算机接收表征代理正与之交互的环境的当前状态的当前观察；

由一个或多个计算机根据嵌入神经网络的参数的当前值，使用嵌入神经网络处理当前观察，以生成当前观察的当前键嵌入；

对于多个动作中的每个动作：

由一个或多个计算机根据距离度量确定动作的情节存储器数据中距当前键嵌入最近的p个键嵌入，并且

由一个或多个计算机从由动作的情节存储器数据中的最近的p个键嵌入映射到的返回估计确定动作的Q值，其中，所述动作的Q值是由代理响应于当前观察执行动作而产生的预测返回；以及，

由一个或多个计算机使用动作的Q值，从多个动作中选择一个动作作为要由代理响应于当前观察而执行的动作；

确定由代理响应于当前观察执行所选的动作而产生的当前返回；

确定当前键嵌入是否与所选的动作的情节存储器数据中的任何键嵌入匹配；以及

在当前键嵌入与所选的动作的情节存储器数据中的键嵌入匹配时，更新情节存储器数据以将匹配的键嵌入映射到基于当前返回、由匹配的键嵌入当前映射到的返回估计和学习速率计算的新的返回估计，

其中，在联合训练嵌入神经网络和情节存储器模块期间，更新情节存储器模块的学习速率大于更新嵌入神经网络的参数的当前值的嵌入神经网络学习速率。

2.如权利要求1所述的方法，其中，选择要执行的动作包括：

选择具有最高Q值的动作作为要执行的动作。

3.如权利要求1所述的方法，其中，选择要执行的动作包括：

以概率ε选择具有最高Q值的动作作为要执行的动作，并且以概率1-ε从预定的动作集合中选择随机动作。

4.如权利要求1所述的方法，其中，从由动作的情节存储器数据中的最近的p个键嵌入映射到的返回估计确定动作的Q值包括：

根据距离度量，从最近的p个键嵌入与当前键嵌入之间的距离确定动作的情节存储器数据中的最近的p个键嵌入中的每一个的相应权重；并且

对于动作的情节存储器数据中的最近的p个键嵌入中的每一个，由键嵌入的权重对映射到键嵌入的估计返回进行加权，以确定相应的加权估计返回。

5.如权利要求4所述的方法，其中，确定所述动作的Q值包括：

对动作的加权估计返回进行求和；以及

将求和的加权估计返回用作Q值。

6.如权利要求4所述的方法，其中，确定所述动作的Q值包括：

对动作的加权估计返回进行求和；以及

根据返回神经网络的参数的当前值，通过返回神经网络处理包括求和的加权估计返回的网络输入以生成Q值。

7.如权利要求4所述的方法，其中，确定所述动作的Q值包括：

根据返回神经网络的参数的当前值，通过返回神经网络处理包括加权估计返回的网络输入以生成Q值。

8.如权利要求6或7中任一项所述的方法，其中，所述网络输入还包括当前观察。

9.如权利要求1-7中任一项所述的方法，其中，所述嵌入神经网络是卷积神经网络。

10.如权利要求1-7中任一项所述的方法，其中，所述嵌入神经网络包括一个或多个递归神经网络层。

11.如权利要求1所述的方法，还包括：

在当前键嵌入与所选的动作的情节存储器数据中的任何键嵌入都不匹配时：

把将当前键嵌入映射到当前返回的数据添加到所选的动作的情节存储器数据。