[发明专利]一种多核处理器-单图形处理器的深度强化学习加速方法

摘要

本发明提出一种多核处理器‑单图形处理器的深度强化学习加速方法，能够在CPU+GPU的平台上，建立起特别基于PPO算法的深度强化学习框架，同时发明了一种加速收集采样与推理的流水线方法。在多核CPU上实现多环境进程模拟过程，每一核上安排多个环境进程。同时CPU起到控制数据的作用。在GPU上实现神经网络模型推理过程。CPU和GPU分别保存有动作网络、评估网络参数的内存空间，在环境和智能体交互的过程中，将每次的信息保存在CPU的经验信息池内存中，每隔一定循环，CPU根据算法的截断参数和筛选条件，从自身的经验信息池内存中提取batch规模的数据进行训练。本发明通过负载平衡，当CPU单核堆叠环境进程的模拟时间与神经网络模型推理时间相同时，能够实现环境采样与动作推理并行执行的流水线结构：通过并行半个CPU模拟器和半个GPU推理的运行，并在数据传输时准备好下一次半个CPU模拟器和半个GPU推理过程，可以进一步加速强化学习速度，达到比传统方法近2倍的整体训练速度。