[发明专利]用于分布式强化学习的方法、程序产品和存储介质

说明书

方法、系统和设备，包括在计算机存储介质上编码的计算机程序，以选择由与环境交互的强化学习智能体要执行的动作。接收表征环境的当前状态的当前观察。对于可以由与环境交互的智能体执行的多个动作的集合中的每个动作，确定针对动作–当前观察对的可能的Q回报之上的概率分布。对于每个动作，确定相对于针对动作–当前观察对的概率分布的可能的Q回报的集中趋势的度量。使用集中趋势的度量，选择响应于当前观察将由智能体执行的动作。

背景技术

本说明书涉及强化学习。

在强化学习系统中，智能体(agent)通过响应于接收对表征环境的当前状态的观察而执行由强化学习系统选择的动作来与环境交互。

一些强化学习系统根据神经网络的输出，响应于接收给定观察来选择将由智能体执行的动作。

神经网络是机器学习模型，其采用非线性单元的一个或多个层以为接收的输入预测输出。一些神经网络是深度神经网络，其包括除了输出层之外的一个或多个隐藏层。每个隐藏层的输出用作向网络中的下一层(即，下一个隐藏层或输出层)的输入。网络的每个层根据参数的相应集合的当前值从接收的输入生成输出。

发明内容

本说明书描述了强化学习系统，其实现为在一个或多个位置中一个或多个计算机上的计算机程序。

根据第一方面，提供一种方法，以选择由与环境交互的强化学习智能体要执行的动作。方法包括接收表征环境的当前状态的当前观察。对于与环境交互的智能体要执行的多个动作的集合中的每个动作，使用具有多个网络参数的分布式Q网络处理动作和当前观察。分布式Q网络是配置为根据网络参数的当前值处理动作和当前观察的深度神经网络，以生成网络输出，该网络输出限定针对动作-当前观察对的可能的Q回报之上的概率分布。每个可能的Q回报是从响应于当前观察执行动作的智能体得到的回报的估计。对于每个动作，确定相对于针对动作–当前观察对的概率分布的可能的Q回报的集中趋势的度量。使用动作的集中趋势的度量，选择动作以响应于当前观察由智能体执行。

在一些实现方式中，选择将由智能体执行的动作包括选择具有最高集中趋势的度量的动作。

在一些实现方式中，选择将由智能体执行的动作包括，选择概率为1–ε的具有最高集中趋势的度量的动作，并且从多个动作中随机地选择概率为ε的动作。

在一些实现方式中，网络输出包括针对动作–当前观察对的多个可能的Q回报中的每一个的相应输出值。

在一些实现方式中，集中趋势的度量是可能的Q回报的平均值。

在一些实现方式中，相对于概率分布确定可能的Q回报的平均值包括从输出值确定多个可能的Q回报中的每一个的相应概率。用可能的Q回报的概率对每个可能的Q回报进行加权。通过对加权的可能的Q回报求和确定平均值。