[发明专利]神经情节控制

说明书

一种方法包括维护多个动作中的每一个的相应的情节存储器数据；接收表征代理正在与之交互的环境的当前状态的当前观察；根据嵌入神经网络的参数的当前值，使用嵌入神经网络处理当前观察以生成当前观察的当前键嵌入；对于多个动作中的每个动作：根据距离度量确定动作的情节存储器数据中距当前键嵌入最近的p个键嵌入，并且从由动作的情节存储器数据中的最近的p个键嵌入映射到的返回估计确定动作的Q值；以及，使用动作的Q值从多个动作中选择一个动作作为要由代理执行的动作。

相关申请的交叉引用

本申请要求2017年2月24日提交的美国临时申请序列号62/463,558的优先权。在先申请的公开内容被认为是本申请的公开内容的一部分，并且通过引用并入本申请的公开内容中。

技术领域

本说明书涉及强化学习。

背景技术

在强化学习系统中，代理响应于接收到表征环境的当前状态的观察，通过执行由强化学习系统选择的动作与环境交互。

一些强化学习系统根据神经网络的输出，选择要由代理响应于接收到给定的观察而执行的动作。

神经网络是采用一层或多层非线性单元来预测接收到的输入的输出的机器学习模型。一些神经网络是除了输出层之外还包括一个或多个隐藏层的深度神经网络。每个隐藏层的输出用作网络中下一层(即，下一隐藏层或输出层)的输入。网络中的每一层根据相应参数集合的当前值从接收到的输入生成输出。

发明内容

该说明书描述了在一个或多个位置处的一个或多个计算机上实施为计算机程序的系统如何使用由系统维护的情节存储器数据来从动作的集合中选择要由与环境交互的代理执行的动作。

通常，本说明书中描述的主题的一个创新方面可以体现在计算机实施的方法中，所述方法包括由一个或多个计算机维护多个动作中的每个动作的相应的情节存储器数据。每个动作的情节存储器数据将相应的多个键嵌入中的每一个映射到相应的返回估计。所述方法包括由所述一个或多个计算机接收表征代理正与之交互的环境的当前状态的当前观察。所述方法包括由一个或多个计算机根据嵌入神经网络的参数的当前值，使用嵌入神经网络处理当前观察以生成当前观察的当前键嵌入。对于多个动作中的每个动作，所述方法包括由一个或多个计算机根据距离度量确定动作的情节存储器数据中距当前键嵌入最近的p个键嵌入，并且由一个或多个计算机从由动作的情节存储器数据中的最近的p个键嵌入映射到的返回估计确定动作的Q值。动作的Q值是可能由代理响应于当前观察执行动作而产生的预测返回。所述方法还包括由一个或多个计算机使用动作的Q值从多个动作中选择一个动作作为要由代理响应于当前观察而执行的动作。

前述和其他实施例可以各自可选地单独或组合地包括一个或多个以下特征。

选择要执行的动作可以包括：选择具有最高Q值的动作作为要执行的动作。选择要执行的动作可以包括：以概率ε选择具有最高Q值的动作作为要执行的动作，并且以概率1-ε从预定动作的集合中选择随机动作。

从由动作的情节存储器数据中的最近的p个键嵌入映射到的返回估计确定动作的Q值包括：根据距离度量，从最近的p个键嵌入与当前键嵌入之间的距离确定动作的情节存储器数据中的最近的p个键嵌入中的每一个的相应权重；以及，对于动作的情节存储器数据中的最近的p个键嵌入中的每一个，由键嵌入的权重对映射到键嵌入的估计返回进行加权，以确定相应的加权估计返回。

确定动作的Q值可以包括：对动作的加权估计返回进行求和；以及，将求和的加权估计返回用作Q值。

确定动作的Q值可以包括：对动作的加权估计返回进行求和；以及，根据返回神经网络的参数的当前值，通过返回神经网络处理包括求和的加权估计返回的网络输入以生成Q值。

确定动作的Q值可以包括：根据返回神经网络的参数的当前值，通过返回神经网络处理包括加权估计返回的网络输入以生成Q值。