[发明专利]强化学习系统训练返回函数的元梯度更新

说明书

用于强化学习的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。本文所描述的实施例应用元学习(特别是元梯度强化学习)来学习最优返回函数G，从而改善系统的训练。这提供了训练强化学习系统的更有效和高效的手段，因为系统能够通过训练返回函数G更快地收敛到一个或多个策略参数θ的最优集。特别地，使返回函数G取决于一个或多个策略参数θ，并且使用相对于一个或多个返回参数η被微分的元目标函数J’，以改善对返回函数G的训练。

技术领域

本说明书涉及强化学习(reinforcement learning)。

背景技术

在强化学习系统中，代理(agent)通过执行由强化学习系统响应于接收到表征环境当前状态的观测数据(observation)而选择的动作来与环境交互。

一些强化学习系统响应于接收到给定的观测数据，根据神经网络的输出选择要由代理执行的动作。

神经网络是机器学习模型，其采用非线性单元的一个或多个层来预测对接收到的输入的输出。一些神经网络是深度神经网络，其除了输出层之外，还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一个层(即下一个隐藏层或输出层)的输入。网络的每个层根据相应参数集的当前值从接收到的输入生成输出。

发明内容

本说明书总体上描述了一种强化学习系统，该系统选择要由与环境交互的强化学习代理执行的动作。为了使代理与环境交互，系统接收表征环境当前状态的数据，并响应于接收到的数据选择要由代理执行的动作。表征环境状态的数据在本说明书中被称为观测数据。

在一些实现方式中，环境是模拟(simulated)环境，并且代理被实现为与模拟环境交互的一个或多个计算机程序。例如，模拟环境可以是视频游戏，并且代理可以是玩视频游戏的模拟用户。作为另一示例，模拟环境可以是运动模拟环境，例如驾驶模拟或飞行模拟，并且代理是通过运动模拟航行的模拟交通工具(vehicle)。在这些实现方式中，动作可以是控制模拟用户或模拟交通工具的控制输入。

在一些其他实现方式中，环境是真实世界环境，并且代理是与真实世界环境交互的机械代理。例如，代理可以是与环境交互以完成特定任务的机器人。作为另一示例，代理可以是在环境中航行的自动或半自动交通工具。在这些实现方式中，动作可以是控制机器人或自动交通工具的控制输入。

在一个创新方面，本说明书中所描述的主题可以在强化学习系统中实现，该系统包括被配置为从强化学习神经网络中检索多个经验(experience)的一个或多个处理器，该强化学习神经网络被配置为控制与环境交互的代理执行任务，以尝试基于强化学习神经网络的一个或多个策略参数来实现指定的结果，每个经验包括表征环境状态的观测数据、代理响应于观测数据而执行的动作以及响应于动作而接收到的奖励(reward)。一个或多个处理器还被配置为使用基于奖励计算返回(return)的返回函数、基于第一经验集来更新强化学习神经网络的一个或多个策略参数；以及基于一个或多个更新的策略参数和第二经验集来更新返回函数的一个或多个返回参数。一个或多个返回参数使用相对于该一个或多个返回参数被微分的元目标(meta-objective)函数经由梯度上升或下降方法来更新，其中元目标函数取决于一个或多个策略参数。

本文所描述的实施例应用元学习(特别是元梯度强化学习)来学习最优返回函数G，以改善对系统的训练。这提供了训练强化学习系统的更有效和高效的手段，因为系统能够通过逐步训练返回函数G更快地收敛到一个或多个策略参数θ的最优集。特别地，使返回函数G取决于一个或多个策略参数θ，并且使用相对于一个或多个返回参数η被微分的元目标函数J’，以改善对返回函数G的训练。