[发明专利]基于异步或同步的深度强化学习分布式训练方法及系统有效
| 申请号： | 201911423249.2 | 申请日： | 2019-12-31 |
| 公开（公告）号： | CN111191728B | 公开（公告）日： | 2023-05-09 |
| 发明（设计）人： | 李明强;唐思琦;陈思;高放;黄彬城 | 申请（专利权）人： | 中国电子科技集团公司信息科学研究院 |
| 主分类号： | G06F18/2415 | 分类号： | G06F18/2415 |
| 代理公司： | 北京中知法苑知识产权代理有限公司 11226 | 代理人： | 李明;赵吉阳 |
| 地址： | 100086 北京*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 基于 异步 同步 深度 强化 学习 分布式 训练 方法 系统 | ||
1.一种基于异步或同步的深度强化学习分布式训练方法，其特征在于，包括：
同步启动多个CPU执行同一程序，每个CPU初始化为相同的决策函数；
实时收集每个CPU三元组数据到GPU；
当三元组数据收集时间达到设定时长T，则GPU计算更新策略网络参数，每个CPU基于更新的策略网络参数更新所述决策函数；
其中，
所述三元组数据为(st,at,rt)，t表示时刻，st,at,rt分别表示t时刻的状态、决策以及回报；
GPU计算更新策略网络参数θ包括：
计算：
计算：
其中γ为缩放因子，θv为价值网络参数，V(sT；θv)为价值网络输出。
2.根据权利要求1所述的基于异步或同步的深度强化学习分布式训练方法，其特征在于，每个CPU独立地和环境进行交互得到经验数据，各CPU线程之间相互独立。
3.根据权利要求1所述的基于异步或同步的深度强化学习分布式训练方法，其特征在于，采用单GPU同步计算更新策略网络参数并更新到服务器或多个GPU异步计算更新策略网络参数并更新到服务器。
4.一种基于异步或同步的深度强化学习分布式训练系统，其特征在于，包括GPU、多个CPU以及服务器；
多个CPU同步启动执行同一程序，每个CPU初始化为相同的决策函数；
所述GPU实时收集每个CPU三元组数据，当三元组数据收集时间达到设定时长T，则所述GPU计算更新策略网络参数至所述服务器；
每个CPU从所述服务器获取更新的策略网络参数并更新所述决策函数；
其中，
所述三元组数据为(st,at,rt)，t表示时刻，st,at,rt分别表示t时刻的状态、决策以及回报；
GPU计算更新策略网络参数θ包括：
计算：
计算：
其中γ为缩放因子，θv为价值网络参数，V(sT；θv)为价值网络输出。
5.根据权利要求4所述的基于异步或同步的深度强化学习分布式训练系统，其特征在于，每个CPU独立的和环境进行交互得到经验数据，各CPU线程之间相互独立。
6.根据权利要求4所述的基于异步或同步的深度强化学习分布式训练系统，其特征在于：
所述GPU为一个，同步计算更新策略网络参数并更新到服务器；或者所述GPU为多个，异步计算更新策略网络参数并更新到服务器。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国电子科技集团公司信息科学研究院，未经中国电子科技集团公司信息科学研究院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201911423249.2/1.html，转载请声明来源钻瓜专利网。
