[发明专利]基于稀疏注意力机制的多智能体强化学习方法及系统

说明书

本发明公开了一种基于稀疏注意力机制的多智能体强化学习方法，所述方法包括如下步骤：初始化每个智能体的策略网络参数、中心化Q₁值网络参数以及中心化Q₂值网络参数，初始化经验回放缓存；重置多智能体环境，每个智能体得到初始观察o_i；每一个智能体根据当前策略以及当前观察，执行策略输出的动作从而得到环境反馈的即时回报，并得到下一个观察o_i′；将以上收集到的数据存入经验回放缓存中然后每一个智能体从经中采样相关训练数据；计算每个智能体与其他所有智能体的注意力权重向量，计算中心化Q₁值以及Q₂值；每个智能体根据上述结果更新上述所有参数；重复上述流程直到算法收敛或达到指定停止条件。本发明还公开了一种实现上述方法的系统。

技术领域

本发明属于人工智能技术领域，涉及一种能够将多智能体强化学习技术扩展到大规模多智能体系统的、提高算法收敛速度以及最终性能的基于稀疏注意力机制的多智能体强化学习方法及系统。

背景技术

强化学习近年来在学术界以及工业界均受到了广泛的关注以及研究。其目标在于最大化具有特定目标的智能体与环境交互中收到环境反馈回的累积回报，从而得出控制智能体实现该目标的最优策略。传统强化学习算法最大的局限性在于需要进行人工特征工程来对环境中的状态进行建模，使其无法扩展到复杂环境。随着深度学习的兴起，使得复杂任务中的表示学习成为可能。因而与深度学习结合的深度强化学习技术在游戏领域、机器人控制领域以及自动驾驶领域均取得了令人瞩目的成绩。

在众多现实问题中，需要同时控制多个智能体来完成最终任务。例如群体机器人控制、多人玩家游戏等等。多智能体场景下的状态转移过程可简要描述如下：在某个特定时间步，环境接受所有智能体的联合动作后，转移到下一个状态并反馈给每个智能体一个即时回报。然而多智能体场景下的智能体在完成自己任务的同时，还会影响到其他智能体决策的影响，从而交互环境具有非平稳性。在非平稳环境下训练时，环境中的不确定性会导致强化学习算法的训练过程极不稳定，并容易过早收敛到局部最优解。因而多智能体强化学习算法的核心思想在于对其他智能体进行建模，通过预测其他智能体的策略或者最终目标，来尽可能减小或消除环境中的不确定性。

目前效果较为显著的多智能体强化学习算法解决上述问题的具体做法在于将其他智能体的相关信息作为额外信息引入，结合智能体自身数据一起联合训练。上述做法在智能体数量较少时能够取得很好的效果，然而一旦放到大规模的多智能体场景下，不仅算法运行时所需的时间成本以及空间成本会急剧增大，而且还会引入一个更严重的问题。由于在大规模多智能体场景下，每个智能体的训练过程并不会被其余所有的智能体所影响，如果同等考虑其余所有智能体的相关信息并作为额外信息引入训练过程，将会使得价值较高的信号被淹没在背景噪声当中，使得算法训练过程中方差过大，甚至过早收敛到局部最优解。因而，迫切需要一种能够自动筛选有利信息的多智能体强化学习算法，它可以通过其余所有智能体的相关信息确定对当前智能体影响最大的智能体集合，然后将这个集合中的相关信息作为额外信息引入，从而提高算法的收敛速度以及最终性能。