[发明专利]神经情节控制

摘要

一种方法包括维护多个动作中的每一个的相应的情节存储器数据；接收表征代理正在与之交互的环境的当前状态的当前观察；根据嵌入神经网络的参数的当前值，使用嵌入神经网络处理当前观察以生成当前观察的当前键嵌入；对于多个动作中的每个动作：根据距离度量确定动作的情节存储器数据中距当前键嵌入最近的p个键嵌入，并且从由动作的情节存储器数据中的最近的p个键嵌入映射到的返回估计确定动作的Q值；以及，使用动作的Q值从多个动作中选择一个动作作为要由代理执行的动作。

主权项

1.一种方法，包括：由一个或多个计算机维护多个动作中的每个动作的相应的情节存储器数据，其中，每个动作的情节存储器数据将相应的多个键嵌入中的每一个映射到相应的返回估计；由一个或多个计算机接收表征代理正与之交互的环境的当前状态的当前观察；由一个或多个计算机根据嵌入神经网络的参数的当前值，使用嵌入神经网络处理当前观察，以生成当前观察的当前键嵌入；对于多个动作中的每个动作：由一个或多个计算机根据距离度量确定动作的情节存储器数据中距当前键嵌入最近的p个键嵌入，并且由一个或多个计算机从由动作的情节存储器数据中的最近的p个键嵌入映射到的返回估计确定动作的Q值，其中，所述动作的Q值是由代理响应于当前观察执行动作而产生的预测返回；以及，由一个或多个计算机使用动作的Q值，从多个动作中选择一个动作作为要由代理响应于当前观察而执行的动作。