[发明专利]利用辅助任务的强化学习有效
申请号: | 201780080119.6 | 申请日: | 2017-11-04 |
公开(公告)号: | CN110114783B | 公开(公告)日: | 2023-07-18 |
发明(设计)人: | V.姆尼;W.扎内基;M.E.雅德伯格;T.绍尔;D.西尔弗;K.卡乌库奥格卢 | 申请(专利权)人: | 渊慧科技有限公司 |
主分类号: | G06N3/0464 | 分类号: | G06N3/0464;G06N3/092 |
代理公司: | 北京市柳沈律师事务所 11105 | 代理人: | 金玉洁 |
地址: | 英国*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 利用 辅助 任务 强化 学习 | ||
包括在计算机存储介质上编码的计算机程序的用于训练强化学习系统的方法、系统和装置。该方法包括:训练动作选择策略神经网络,并且在动作选择策略神经网络的训练期间,训练一个或多个辅助控制神经网络和奖励预测神经网络。辅助控制神经网络中的每个辅助控制神经网络被配置为接收由动作选择策略神经网络生成的相应的中间输出,并生成对于对应的辅助控制任务的策略输出。奖励预测神经网络被配置为接收由动作选择策略神经网络生成的一个或多个中间输出并生成对应的预测奖励。训练辅助控制神经网络中的每个辅助控制神经网络和奖励预测神经网络包括调整相应的辅助控制参数、奖励预测参数和动作选择策略网络参数的值。
技术领域
本说明书涉及强化学习。
背景技术
在强化学习系统中,代理通过执行由强化学习系统响应于接收到表征当前环境状态的观察选择的动作来与环境交互。
一些强化学习系统根据神经网络的输出、响应于接收到给定观察选择要由代理执行的动作。
神经网络是采用一层或多层非线性单元来预测对于接收的输入的输出的机器学习模型。一些神经网络是除了输出层之外还包括一个或多个隐藏层的深度神经网络。每个隐藏层的输出用作网络中下一层(即,下一隐藏层或输出层)的输入。网络的每个层根据相应参数集的当前值从接收的输入生成输出。
发明内容
本说明书描述了在一个或多个位置中的一个或多个计算机上被实施为计算机程序的强化学习系统,该强化学习系统选择要由与环境交互的代理执行的动作。通常,系统使用动作选择策略神经网络(action selection policy neural network)来响应于环境的观察选择要执行的动作。为了改进动作选择策略神经网络的训练,在该训练期间,系统还训练接收动作选择策略神经网络的相应的中间输出作为输入的(i)一个或多个辅助控制神经网络(auxiliary control neural network)、(ii)奖励预测神经网络(reward predictionneural network)、或两者。
通常,一种创新方面可以体现在用于训练强化学习系统的方法中,其中该方法包括:使用第一强化学习技术训练动作选择策略神经网络,其中,动作选择策略神经网络具有多个动作选择策略网络参数并用于选择要由与环境交互的代理执行的动作,特别用于执行主任务。动作选择策略神经网络可以被配置为接收包括观察输入的输入并根据网络参数处理输入以生成动作选择策略输出,并且其中,训练动作选择策略神经网络包括调整动作选择策略网络参数的值。该方法可以包括在使用第一强化学习技术训练动作选择策略神经网络期间:在动作选择策略神经网络的训练期间训练关于代理与环境的交互的一个或多个辅助控制神经网络中的每个辅助控制神经网络,其中,辅助控制神经网络中的每个辅助控制神经网络具有相应的辅助控制参数并对应于相应的辅助控制任务,并且被配置为:接收由动作选择策略神经网络生成的相应的中间输出,以及根据辅助控制神经网络的相应的辅助控制参数,生成对于相应的辅助控制任务的策略输出;并且其中,训练辅助控制神经网络中的每个辅助控制神经网络包括:基于由辅助控制神经网络生成的策略输出确定梯度;以及使用梯度调整相应的辅助控制参数和动作选择策略网络参数的值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于渊慧科技有限公司,未经渊慧科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201780080119.6/2.html,转载请声明来源钻瓜专利网。
- 上一篇:鱼摄像装置以及鱼计数装置
- 下一篇:递归环境预测器及其方法