[发明专利]认知行为模型加速的深度Q网络强化学习方法及设备

说明书

本公开提供一种认知行为模型加速的深度Q网络强化学习方法及设备，利用认知行为模型从环境中获取状态信息并根据状态信息得到认知行为知识，并发送至启发策略网络；利用深度强化学习模型从环境中获取状态信息；利用启发策略网络根据状态信息和认知行为知识得到启发策略值，并发送至深度Q网络；利用深度Q网络根据状态信息和启发策略值得到动作并执行；利用深度强化学习模型从环境中获取回报，并对启发策略网络和深度Q网络进行迭代更新；循环执行上述操作，响应于确定深度Q网络收敛，结束强化学习。本公开通过认知行为模型和启发策略网络加速了深度Q网络的收敛，有效缓解了状态空间巨大和奖励回报稀疏对学习效率的影响。

技术领域

本公开涉及强化学习技术领域，尤其涉及一种认知行为模型加速的深度Q网络强化学习方法及设备。

背景技术

采样效率(Sample Efficiency)问题一直以来制约着强化学习算法在复杂问题中的应用。强化学习应用中，智能体Agent通过试错学习与环境交互，因此往往需要大量交互样本才能完成对状态-动作空间的充分探索，从而收敛到最优策略。特别是面对复杂任务(如高维、连续状态空间或环境奖励稀疏)时，强化学习Agent采样低效的问题尤为突出。

利用合适的先验知识或迁移已学习到的策略模型是加速强化学习Agent策略收敛的有效手段。一种可行的思路是直接重用已学到的策略，例如Reinforcement Learningwith Context Detection(RL-CD)、Bayes-Pepper、Deep BPR+和Context-Aware PolicyReuse(CAPS)等。这些算法维护了一个策略库，用于记录之前已经学习到的策略。在策略重用阶段，Agent检测环境或其他参与者的策略是否发生改变，并直接重用策略库中的策略或在此基础上继续学习。另一种思路是Agent从零学起，通过选择合适的启发知识用于策略探索，从而加速策略收敛。例如，π-reuse探索策略、Heuristically Accelerated Q(λ)(HA-Q(λ))、π-selection算法等。在这些算法中，启发知识在其所覆盖的状态空间直接引导Agent进行动作选择。然而，其中的启发知识一般通过手动设计或基于案例推理获得。这些针对具体任务设计的静态知识模型，知识表示方式不统一、可迁移性和泛化性能差、灵活性低，难以动态引导学习过程。

认知行为建模可以将通用的知识、信念、意图等认知要素表示为人机相互可以理解的形式，然而，当前的认知能力和自适应学习能力构建存在两个问题。一方面，认知知识的构建偏向工程性编程，泛化适应能力弱，不具有学习能力。另一方面，现有的深度强化学习算法虽然已在多种应用中取得成功，但其仍存在Agent训练时间长、计算力需求大、模型收敛慢等突出问题。学习过程中往往需要进行大量的探索，为神经网络的学习提供足够的数据，以支撑学习效果。因此，如何将认知行为模型与深度强化学习技术紧密结合，使学习型Agent在已有知识基础上再学习，缓解状态空间巨大和环境奖励稀疏的不利影响是一个值得深入研究的问题。

发明内容

有鉴于此，本公开的目的在于提出一种认知行为模型加速的深度Q网络强化学习方法及设备。

基于上述目的，本公开提供了一种认知行为模型加速的深度Q网络强化学习方法，其中，所述方法通过认知行为模型和深度强化学习模型实现；所述深度强化学习模型中包括启发策略网络和深度Q网络；所述方法包括：

利用所述认知行为模型从环境中获取状态信息并根据所述状态信息得到认知行为知识，并将所述认知行为知识发送至所述启发策略网络；

利用所述深度强化学习模型从所述环境中获取所述状态信息，并将所述状态信息发送至所述启发策略网络和所述深度Q网络；利用所述启发策略网络根据所述状态信息和所述认知行为知识得到启发策略值，并将所述启发策略值发送至所述深度Q网络；利用所述深度Q网络根据所述状态信息和所述启发策略值得到动作并执行；

利用所述深度强化学习模型从所述环境中获取回报，并对所述启发策略网络和所述深度Q网络进行迭代更新；