[发明专利]基于好奇心机制的Rainbow智能体训练方法

说明书

本发明提供一种基于好奇心机制的Rainbow智能体训练方法，涉及深度强化学习技术领域。该方法首先将Rainbow智能体训练的时间差分法TD的一步自举换成多步自举，并构造Rainbow智能体训练的目标函数；再定义Rainbow智能体训练的多步损失函数，将通过多步自举得到的损失与双Q网络结合，并使用目标函数评估智能体不同价值下的动作；然后改变Rainbow智能体训练时的优先体验重放顺序；将DuelingDQN与分布式网络结合作为Rainbow智能体网络，对Rainbow智能体的网络体系结构进行调整；最后设计好奇心模块，在Rainbow智能体训练中添加好奇心机制，计算好奇心模块中前向动力学模型预测误差，并将其作为智能体训练的内在奖励，使智能体不断去探索新的状态。

技术领域

本发明涉及深度强化学习技术领域，尤其涉及一种基于好奇心机制的Rainbow智能体训练方法。

背景技术

深度强化学习是深度学习与强化学习的结合。深度学习具有较强的感知能力，但是缺乏一定的决策能力；而强化学习具有决策能力，对感知问题束手无策。深度学习是学习样本数据的内在规律和表现层次，它的最终目标是机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。强化学习是机器学习的一个分支，它最大的特点就是在交互中学习，智能体在与环境的交互中根据获得的奖励或惩罚不断地学习。两者优势互补，为复杂系统的感知决策问题提供了解决思路。

智能体训练就是将学习看作是一个试探过程。智能体在环境中获取状态，之后利用该状态选择一个动作，一个决策。环境接受该决策之后，就会输出下一个状态以及当前决策所得到的奖励。选择的决策不仅会影响当前的奖励，还会影响下一次的状态和最终的奖励。智能体的目的就是在环境中尽可能获得最大的奖励。

深度Q学习网络(Deep Q Network，即DQN)，作为深度强化学习的开山之作，DeepMind首次提出了深度强化学习这一概念，并且提出了DQN算法。他们首次将深度神经网络与强化学习进行了结合，实现从感知到动作的端到端学习，在多种Atari游戏中达到了超人的水平，深度强化学习从此成为深度学习领域的前沿研究方向。但传统的DQN算法还存在着诸多问题，例如：目标Q值会被过高估计；不同样本的重要性不同，随机采样方式未必完全适用；卷积神经网络的结构存在局限性；DQN训练效率太慢等问题。

除此之外，强化学习还依赖于精心设计的外部环境奖励，人工设计的密集奖励对于任意环境来说是无法扩展的。但实际中，智能体的外部奖励是及其稀疏且容易错过的，因为只有当智能体在成功达到预先制定的目标状态时才会收到更新的强化策略。当外部奖励很少时，智能体盲目的探索会导致大量时间资源的消耗，从而导致训练效率的低下。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于好奇心机制的Rainbow智能体训练方法，实现对智能体的训练。

为解决上述技术问题，本发明所采取的技术方案是：基于好奇心机制的Rainbow智能体训练方法，

将Rainbow智能体训练的时间差分法TD的一步自举换成多步自举，构造Rainbow智能体训练的目标函数；

定义Rainbow智能体训练的多步损失函数；将通过多步自举得到的损失与双Q网络结合，并使用目标函数评估智能体不同价值下的动作；

改变Rainbow智能体训练时的优先体验重放顺序；

将Dueling DQN与分布式网络结合作为Rainbow智能体网络，对Rainbow智能体的网络体系结构进行调整；

设计好奇心模块，Rainbow智能体训练中添加好奇心机制；

计算好奇心模块中前向动力学模型预测误差，并将其作为智能体训练的内在奖励，使智能体不断去探索新的状态；