[发明专利]一种用于选择待由与环境进行交互的强化学习代理执行的动作的方法

摘要

用于训练Q网络的方法、系统、和设备，包括编码在计算机存储介质上的计算机程序，所述Q网络用于选择待由与环境进行交互的代理执行的动作。所述方法中的一种方法包括：获取多个经验元组，并且通过使用Q网络和目标Q网络来对所述经验元组中的每个经验元组训练所述Q网络，所述目标Q网络与所述Q网络相同，但是所述目标Q网络的所述参数的所述当前值与所述Q网络的所述参数的所述当前值不同。

主权项

一种训练Q网络的方法，所述Q网络用于选择待由代理执行的动作，所述代理通过接收表征环境的状态的观察并且响应于所述观察而执行来自动作的集合中的动作来与所述环境进行交互，其中，所述Q网络是深度神经网络，所述深度神经网络被配置为接收输入观察和输入动作作为输入，并且根据参数的集合从所述输入生成估计的未来累积奖励，以及其中，所述方法包括：获取多个经验元组，其中，每个经验元组包括训练观察、由所述代理响应于接收到所述训练观察而执行的动作、响应于所述代理执行所述动作而接收到的奖励、以及表征所述环境的下一状态的下一训练观察；以及对所述经验元组中的每个经验元组训练所述Q网络，包括对于每个经验元组：根据所述Q网络的所述参数的当前值通过使用所述Q网络来处理所述经验元组中的所述训练观察和所述经验元组中的所述动作以确定所述经验元组的当前估计的未来累积奖励；从所述动作的集合中选择动作，所选择的动作在由所述Q网络结合所述下一观察被处理时使所述Q网络生成最高估计的未来累积奖励；根据目标Q网络的所述参数的当前值通过使用所述目标Q网络来处理所述经验元组中的所述下一观察和所选择的动作以确定所选择的动作的下一目标估计的未来累积奖励，其中所述目标Q网络与所述Q网络相同，但是所述目标Q网络的所述参数的当前值与所述Q网络的所述参数的当前值不同；根据所述经验元组中的所述奖励、所选择的动作的所述下一目标估计的未来累积奖励和所述当前估计的未来累积奖励来确定所述经验元组的误差；以及使用所述经验元组的所述误差来更新所述Q网络的所述参数的当前值。