[发明专利]一种用于选择待由与环境进行交互的强化学习代理执行的动作的方法

说明书

用于训练Q网络的方法、系统、和设备，包括编码在计算机存储介质上的计算机程序，所述Q网络用于选择待由与环境进行交互的代理执行的动作。所述方法中的一种方法包括：获取多个经验元组，并且通过使用Q网络和目标Q网络来对所述经验元组中的每个经验元组训练所述Q网络，所述目标Q网络与所述Q网络相同，但是所述目标Q网络的所述参数的所述当前值与所述Q网络的所述参数的所述当前值不同。

技术领域

本说明书涉及选择待由强化学习代理执行的动作。

背景技术

强化学习代理通过接收表征环境的当前状态的观察并且作为响应执行动作来与环境进行交互。一些强化学习代理使用神经网络来选择响应于接收到任何给定观察而要执行的动作。

神经网络是采用一个或者多个非线性单元层来预测接收到的输入的输出的机器学习模型。一些神经网络是除了输出层之外还包括一个或者多个隐藏层的深度神经网络。每个隐藏层的输出用作网络中下一层(即，下一隐藏层或者输出层)的输入。网络的每个层根据参数的相应集合的当前值来从接收到的输入生成输出。

发明内容

本说明书描述了与强化学习有关的技术。大体上，本说明书描述了训练Q网络，该Q网络用于选择待由代理执行的动作，该代理通过接收表征环境的当前状态的观察并且响应于该观察执行来自动作的集合中的动作来与环境进行交互。

根据一个方面，提供了一种训练Q网络的方法，该Q网络用于选择待由代理执行的动作，该代理通过接收表征环境的状态的观察并且响应于该观察执行来自动作的集合中的动作来与环境进行交互，其中， Q网络是深度神经网络，该深度神经网络被配置为接收输入观察和输入动作作为输入，并且根据参数的集合从输入生成估计的未来累积奖励。该方法包括：获取多个经验元组，其中，每个经验元组包括训练观察、由代理响应于接收到训练观察而执行的动作、响应于代理执行动作而接收到的奖励、以及表征环境的下一状态的下一训练观察；以及对经验元组中的每个经验元组训练Q网络，包括对于每个经验元组：根据Q网络的参数的当前值来通过使用Q网络来处理经验元组中的训练观察和经验元组中的动作以确定经验元组的当前估计的未来累积奖励；从动作的集合中选择动作，所选择的动作当由Q网络结合下一观察被处理时，使Q网络生成最高估计的未来累积奖励；根据目标Q网络的参数的当前值通过使用目标Q网络来处理经验元组中的下一观察和所选择的动作以确定所选择的动作的下一目标估计的未来累积奖励，其中，所述目标Q网络与Q网络相同，但是所述目标Q网络的参数的当前值与Q网络的参数的当前值不同；根据经验元组中的奖励、所选择的动作的下一目标估计的未来累积奖励、和当前预估未来累积奖励来确定经验元组的误差；以及使用经验元组的误差来更新Q网络的参数的当前值。误差E可以满足：E＝R+γ*NTER–CER，其中， R是经验元组中的奖励，γ是指定折扣因子，NTER是所选择的动作的下一目标估计的未来累积奖励，并且CER是当前估计的未来累积奖励。使用经验元组的误差来更新Q网络的参数的当前值可以包括：通过使用机器学习训练技术来更新Q网络的参数的当前值以减少误差。选择动作包括：对于动作的集合中的每个动作，根据Q网络的参数的当前值通过使用Q网络来处理经验元组中的下一观察和动作以确定动作的相应下一估计的未来累积奖励；以及选择具有最高下一估计的未来累积奖励的动作。

目标Q网络的参数的值可以周期性地与Q网络的参数的值同步。该方法可以进一步包括：在对经验元组中的每个经验元组训练Q网络以确定Q网络的参数的更新值之后，更新目标Q网络的当前值以匹配 Q网络的参数的更新值。该方法可以进一步包括输出具有参数的更新的当前值的Q网络。该方法可以进一步包括接收输入观察和输入动作作为输入；以及根据参数的所更新的当前值，通过使用Q网络，从输入生成估计的未来累积奖励。

输入可以包括与模拟环境相关联的输入观察和与在模拟环境中控制实体相关联的控制输入。例如，实体可以是模拟用户或者模拟车辆。此外或者可替代地，输入可以包括与真实世界环境相关联的输入观察和与真实世界环境中的实体相关联的控制输入。例如，实体可以是与真实世界环境进行交互的机械代理，诸如，与环境进行交互以完成特定任务的机器人和/或在真实世界环境中导航的自主或者半自主车辆。