[发明专利]一种多核处理器-单图形处理器的深度强化学习加速方法

说明书

本发明提出一种多核处理器‑单图形处理器的深度强化学习加速方法，能够在CPU+GPU的平台上，建立起特别基于PPO算法的深度强化学习框架，同时发明了一种加速收集采样与推理的流水线方法。在多核CPU上实现多环境进程模拟过程，每一核上安排多个环境进程。同时CPU起到控制数据的作用。在GPU上实现神经网络模型推理过程。CPU和GPU分别保存有动作网络、评估网络参数的内存空间，在环境和智能体交互的过程中，将每次的信息保存在CPU的经验信息池内存中，每隔一定循环，CPU根据算法的截断参数和筛选条件，从自身的经验信息池内存中提取batch规模的数据进行训练。本发明通过负载平衡，当CPU单核堆叠环境进程的模拟时间与神经网络模型推理时间相同时，能够实现环境采样与动作推理并行执行的流水线结构：通过并行半个CPU模拟器和半个GPU推理的运行，并在数据传输时准备好下一次半个CPU模拟器和半个GPU推理过程，可以进一步加速强化学习速度，达到比传统方法近2倍的整体训练速度。

技术领域

本发明属于计算机领域，特别涉及一种基于多核中央处理器(CPU)-单图形处理器(GPU)平台的深度强化学习加速方法。

背景技术

深度强化学习(DRL，deep reinforcement learning)是深度学习与强化学习相结合的产物，它集成了深度学习在视觉等感知问题上强大的理解能力，以及强化学习的决策能力，实现了端到端学习。深度强化学习的出现使得强化学习技术真正走向实用，得以解决现实场景中的复杂问题，并在多种工程领域中得到广泛应用，例如工业制造、机器人定位识别、游戏博弈等。

2013年发表的文献(Mnih V,Kavukcuoglu K,Silver D,et al.Playing Atariwith deep reinforcement learning//Proceedings of Workshops at the 26th NeuralInformation Processing Systems 2013.Lake Tahoe,USA,2013:201-220)DQN(深度Q网络，deep Q network)出现到目前为止，深度强化学习领域出现了大量的算法，有基于Q值目标进行优化的DQN算法等，有基于策略梯度目标进行优化的A3C，TRPO算法等。在2017年OpenAI发表文献(Schulman,JohnWolski,FilipDhariwal,PrafullaRadford,AlecKlimov,Oleg.(2017).Proximal Policy Optimization Algorithms)(基于策略π近端策略优化PPO算法)，对代理目标函数简单限定了约束，简化了实现和调参过程，性能上优于大部分策略梯度算法，是许多DRL研究时偏向喜爱的最优算法之一。随着这些算法被陆续提出，所需的算法复杂度也逐渐提高，需要高效率的计算支持和框架支持。

在PPO算法中，主要分为动作网络(Actor Network)和评估网络(Critic Network)两个网络，输入均为环境体当前的状态s，其中Critic网络预测值函数V后，根据部分马尔科夫链的n步折扣回报值，得到优势函数A；Actor网络预测得到策略π，进而选择当前状态s下的动作a返回环境，得到下一个状态s-，重复过程。经过T步长后，根据裁剪宽度或散度对以往策略π生成的优势函数A进行处理，作为目标函数对网络训练，达到收敛稳定性。

现有的许多深度强化学习的训练建立在CPU-GPU框架的单环境配置下，其中CPU负责环境建立和数据控制，GPU用于大吞吐量的并行计算。由于是单环境配置，每次只能对一次状态进行动作预测，调度GPU进行运算的开销有时比并行计算的时间还要久，导致DRL的加速效果不明显，甚至起到降速结果。如何提高训练效率成为许多DRL研究的重点。