[发明专利]训练动作选择神经网络

摘要

用于训练策略神经网络的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。策略神经网络用于选择要由代理执行的动作，代理通过接收表征环境状态的观察并响应于接收到的观察而执行动作集合中的动作来与环境交互。从回放存储器获得轨迹，并且为轨迹中的每个训练观察确定策略网络参数的当前值的最终更新。策略网络参数的当前值的最终更新是根据选定动作更新和留一更新来确定的。

主权项

1.一种训练具有多个策略网络参数的策略神经网络的方法，/n其中，所述策略神经网络用于选择要由代理执行的动作，所述代理通过接收表征环境状态的观察并响应于接收到的观察而执行动作集合中的动作来与环境交互，/n其中，所述策略神经网络具有多个策略网络参数，并且被配置为接收输入观察并处理所述输入观察，以根据所述策略网络参数生成所述动作集合中的动作的得分分布，并且/n其中所述方法包括：/n从回放存储器获得轨迹，所述轨迹包括各自表征环境的相应训练状态的多个训练观察，以及对于每个训练观察，所述轨迹还包括：来自由代理响应于接收所述训练观察而执行的所述动作集合中的训练动作和由代理接收的对于执行所述训练动作的训练奖励；和/n使用所述轨迹确定所述策略网络参数的当前值的更新，包括：/n对于所述轨迹中的每个训练观察：/n根据所述策略网络参数的当前值，使用所述策略神经网络处理所述训练观察，以确定所述动作集合中的动作的当前得分分布；/n为每个动作确定所述动作的当前得分相对于所述策略网络参数的梯度；/n使用评委神经网络处理所述训练观察，来为所述动作集合中的每个动作生成输出；/n对于所述集合中除了响应于所述训练观察而执行的动作之外的每个动作，根据所述动作的当前得分相对于所述策略网络参数的梯度和所述评委神经网络为所述动作生成的输出，确定所述策略网络参数的当前值的留一更新；/n根据所述策略网络参数的当前值，确定将所述策略神经网络用于选择由代理执行的未来动作而产生的回报的更新回报估计；/n根据所述更新回报估计和所执行动作的当前得分相对于所述策略网络参数的梯度，确定所述策略网络参数的当前值的选定动作更新；和/n根据所述选定动作更新和所述留一更新，确定所述策略网络参数的最终更新。/n