[发明专利]训练动作选择神经网络

权利要求书

1.一种用于强化学习以选择动作的方法，

其中，具有多个策略网络参数的策略神经网络用于选择要由代理执行的动作，所述代理通过接收表征环境状态的观察并响应于接收到的观察而执行动作集合中的动作来与环境交互，

其中，所述策略神经网络被配置为接收输入观察并处理所述输入观察，以根据所述策略网络参数生成所述动作集合中的动作的得分分布，并且

其中所述方法包括：

从回放存储器获得轨迹，所述轨迹包括各自表征环境的相应训练状态的多个训练观察，以及对于每个训练观察，所述轨迹还包括：来自由代理响应于接收所述训练观察而执行的所述动作集合中的训练动作和由代理接收的对于执行所述训练动作的训练奖励；和

使用所述轨迹确定所述策略网络参数的当前值的更新，包括：

对于所述轨迹中的每个训练观察：

根据所述策略网络参数的当前值，使用所述策略神经网络处理所述训练观察，以确定所述动作集合中的动作的当前得分分布；

为每个动作确定所述动作的当前得分相对于所述策略网络参数的梯度；

使用评委神经网络处理所述训练观察，来为所述动作集合中的每个动作生成输出；

对于所述集合中除了响应于所述训练观察而执行的动作之外的每个动作，根据所述动作的当前得分相对于所述策略网络参数的梯度和所述评委神经网络为所述动作生成的输出，确定所述策略网络参数的当前值的留一更新；

根据所述策略网络参数的当前值，确定将所述策略神经网络用于选择由代理执行的未来动作而产生的回报的更新回报估计；

根据所述更新回报估计和所执行动作的当前得分相对于所述策略网络参数的梯度，确定所述策略网络参数的当前值的选定动作更新；和

根据所述选定动作更新和所述留一更新，确定所述策略网络参数的最终更新；

其中，所述观察是表征所述环境的状态的数据；并且所述代理是与所述环境交互以完成特定任务的机器人、或者通过环境导航的自主或半自主车辆、或者工业设施的控制系统、或者视频游戏环境中的模拟用户中的一个。

2.根据权利要求1所述的方法，其中，所述策略神经网络是递归神经网络。

3.根据权利要求1所述的方法，其中，所述策略神经网络是前馈神经网络。

4.根据权利要求1至3中任一项所述的方法，其中，所述评委神经网络是分布式评委神经网络，并且所述评委网络为所述动作集合中的每个动作生成的输出是可能Q值的相应的分布。

5.根据权利要求4所述的方法，其中，所述策略网络参数的当前值的留一更新是，对于所述集合中除了响应于所述训练观察而执行的动作之外的每个动作，所述动作的当前得分相对于所述策略网络参数的梯度和所述动作的可能Q值的分布的集中趋势的度量的相应乘积的总和。

6.根据权利要求4或权利要求5所述的方法，其中，所述选定动作更新是所述更新回报估计和所执行动作的当前得分相对于所述策略网络参数的梯度的乘积。

7.根据权利要求4或权利要求5所述的方法，其中，确定所述选定动作更新包括：

确定更新回报估计和所执行动作的可能Q值的分布的集中趋势的度量之间的差值；

确定所述差值和所执行动作的当前得分相对于所述策略网络参数的梯度的乘积；和

通过将β函数的输出应用于所述乘积来确定所述选定动作更新。

8.根据权利要求7所述的方法，其中，确定所述选定动作更新还包括：

在将所述β函数的输出应用于所述乘积之后，加上所执行动作的可能Q值的分布的集中趋势的度量与所执行动作的当前得分相对于所述策略网络参数的梯度的乘积。

9.根据权利要求7-8中任一项所述的方法，其中所述β函数取决于以下中的至少一个：所执行动作的当前得分、由所述策略神经网络通过根据在接收到所述训练观察时为当前的、所述策略网络参数的早期值来处理所述训练观察而为所执行动作生成的先前得分、或者所述先前得分的估计。