[发明专利]基于置信上界思想的经验回放采样强化学习方法及系统

说明书

本公开提出了基于置信上界思想的经验回放采样强化学习方法级系统，包括：采集智能体与环境交互获得的经验，并将所述经验数据存储至经验回放池中；在更新当前训练策略时，从所述经验回放池中根据优先概率随机选取经验，生成候选训练样本集；根据每个候选训练样本的置信上界值，选择训练样本集；根据所述训练样本数据对用于函数逼近的神经网络进行参数更新。本公开技术方案可以与任意的离线RL算法相结合，在一定程度上解决相关技术中的样本利用不充分，更新算法学习效率低的问题，有效提高采样效率，进一步提升算法更新的泛化能力。

技术领域

本公开属于强化学习技术领域，尤其涉及基于置信上界思想的经验回放采样强化学习方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

深度强化学习是人工智能领域的一个重要研究方向，智能体通过不断与环境交互的过程，自主学习动作执行的最优策略以最大化他们的累积奖励。深度强化学习方法已经在多个领域和任务中取得了巨大的成功，包括电子游戏、围棋博弈以及机器人控制等。由于深度强化学习的巨大潜能还没有被充分地挖掘，因此近年来多项工作致力于研究其在不同应用环境中的可行性与泛化性。然而，现有的深度强化学习算法仍然缺乏数据效率，即使是学习简单的任务也需要大量的环境交互。真实环境的高成本和低失误容忍度使智能体与环境难以进行大量的交互，极大地限制了算法在真实场景中的探索和应用。类似的，在复杂的仿真环境中提高学习效率也同样重要。因此，深度强化学习最大的挑战之一是让智能体在应用程序中高效地学习，而时间与资源消耗却很少。尽管如此，目前许多关于深度强化学习的研究关注于在一台机器的计算预算内提高性能，而如何最好地利用更多资源的问题还没有得到充分的解决。

经验回放方法在一定程度上缓解了这一问题。在学习过程中，智能体将与环境的交互信息，即经验，存储在回放缓冲池中，然后均匀地随机选择部分经验进行回放以更新控制策略。不同于在线强化学习智能体在一次更新后立即丢弃传入的数据，经验回放方法允许智能体从以前版本的策略生成的数据中学习，使一个经验可以被用于不止一次的更新，从而打破了时间相关性的限制，在使用基于独立同分布假设的随机梯度下降算法训练神经网络函数逼近时特别有用。具体地说，如深度Q学习算法，使用了一个大的滑动窗口回放存储器，从中均匀地随机取样，并且平均重访问每个经验18次。经验回放方法稳定了以深度神经网络为代表的价值函数的训练，使用更多的相对廉价的计算量和内存代替学习大量经验需要的昂贵环境交互资源，有效地提高了数据效率。

根据人类的学习过程可知，不同的经验对于策略的学习具有不同的重要性。然而，原始的经验回放方法从回放池中等概率地均匀采样，并没有考虑不同样本对策略优化的重要程度，因此多项工作致力于对原始经验回放方法的改进。由于样本重要性并没有确定的定量衡量指标，因此现有方法通常会基于定性分析设计一个重要性指标。

优先经验回放方法(Prioritized Experience Replay，PER)扩展了经典的优先横扫理念，使用时序差分误差(TD-error)这一有偏指标衡量样本的重要程度。其关键思想是，智能体可以从具有更高不确定性的样本中更有效地学习。样本对应的指标值越大，代表其具有更高的学习进展预期，也就具有更高的采样优先级。然而，样本的重要程度显然不仅仅由时序差分误差确定，还可能与奖励信号和被采样频次等因素相关，原始的优先经验回放方法仍存在较大的提升空间。

Q-Prop以深度确定性策略梯度方法(DDPG)为基础，使用离线评论家的泰勒展开作为控制变量，将其与在策略的蒙特卡洛梯度估计相结合，减少了样本效率的方差，提高了DDPG的稳定性和采样效率。然而，尽管Q-Prop提供了一个解决高样本复杂度的方案，其策略更新的学习曲线仍存在大幅震荡，因为它继承了策略梯度方法固有的高方差。此外，Tucker等人最近研究表明，实验的性能提高可能是由于设计微妙的实现细节，而不是更好的基线功能。