[发明专利]利用辅助任务的强化学习

摘要

包括在计算机存储介质上编码的计算机程序的用于训练强化学习系统的方法、系统和装置。该方法包括：训练动作选择策略神经网络，并且在动作选择策略神经网络的训练期间，训练一个或多个辅助控制神经网络和奖励预测神经网络。辅助控制神经网络中的每个辅助控制神经网络被配置为接收由动作选择策略神经网络生成的相应的中间输出，并生成对于对应的辅助控制任务的策略输出。奖励预测神经网络被配置为接收由动作选择策略神经网络生成的一个或多个中间输出并生成对应的预测奖励。训练辅助控制神经网络中的每个辅助控制神经网络和奖励预测神经网络包括调整相应的辅助控制参数、奖励预测参数和动作选择策略网络参数的值。

主权项

1.一种方法，包括：使用第一强化学习技术训练动作选择策略神经网络，其中，动作选择策略神经网络具有多个动作选择策略网络参数并用于选择要由与环境交互的代理执行的动作，其中，动作选择策略神经网络被配置为接收包括观察输入的输入并根据网络参数处理输入以生成动作选择策略输出，并且其中，训练动作选择策略神经网络包括调整动作选择策略网络参数的值；在使用第一强化学习技术训练动作选择策略神经网络期间：在动作选择神经网络的训练期间训练关于代理与环境的交互的一个或多个辅助控制神经网络中的每个辅助控制神经网络，其中，辅助控制神经网络中的每个辅助控制神经网络具有相应的辅助控制参数并对应于相应的辅助控制任务并被配置为：接收由动作选择策略神经网络生成的相应的中间输出，以及根据辅助控制神经网络的相应的辅助控制参数，生成对于相应的辅助控制任务的策略输出；并且其中，训练辅助控制神经网络中的每个辅助控制神经网络包括：基于由辅助控制神经网络生成的策略输出确定梯度；以及使用梯度调整相应的辅助控制参数和动作选择策略网络参数的值。