[发明专利]一种基于深度强化学习的多智能体协作模型

权利要求书

1.一种基于深度强化学习的多智能体协作模型，包括集中式的Critic网络、分散式的多个Actor网络、其特征在于，还包括Q值分解网络，每个所述Actor网络与环境交互产生状态-动作信息存入经验缓冲区中，Critic网络从所述经验缓冲区中采样，将所有状态-动作信息作为输入，以协作多智能体系统的任务为目标设计全局奖励R，采用TD误差的方式学习得到一个全局动作价值Q_tot；Q值分解网络将所述全局动作价值Q_tot分解为基于单个智能体的动作价值Q_i，每个Actor网络的梯度更新依赖分解后对应的单个智能体的动作价值Q_i。

2.根据权利要求1所述一种基于深度强化学习的多智能体协作模型，其特征在于，所述Actor网络的梯度更新方式为：

其中，E为期望值，τ表示观测历史，a表示动作历史，D表示经验缓冲区，θ_i表示智能体i的策略，o_i表示智能体i的局部观测，a_i表示智能体i的动作；π_i(a_i|o_i)表示当前观测状态下的动作。

3.根据权利要求1所述一种基于深度强化学习的多智能体协作模型，其特征在于，为得到全局动作价值Q_tot，将初始单个智能体的动作价值Q_i'进行累加，得到一个累加和，由于该累加和并非真实的Q_tot，因此引入一个差值b(s)来弥补累加和与真实全局动作价值Q_tot之间的差距，从而得到近似的全局动作价Q′_tot；即当协作多智能体系统处于状态s时，令：

其中：

b(s)是当前最优联合动作的全局动作价值Q_tot与累加和的差值，和分别为全局和局部最优动作；通过此方式，近似得到了在当前最优联合动作序列下单个智能体的动作价值Q_i与近似的全局动作价值Q′_tot的关系。

4.根据权利要求1所述一种基于深度强化学习的多智能体协作模型，其特征在于，为使所述Critic网络学习出的最优联合动作序列等价于局部最优动作集合，需要满足IGM原则，因此优化目标是使得：成立，即保证最优联合动作序列的选择与局部最优动作集合中元素一致；也就是说，在当前状态s下学到的全局动作价值Q_tot最大时的动作序列和单个智能体的动作价值Q_i下的动作集合组成保持一致，即：

如果满足上式，要建立全局动作价值Q_tot和单个智能体的动作价值Q_i的关系；因此，需使近似得到的Q′_tot和Critic网络学到的真实Q_tot相等，即：

Q′_tot(o，a)＝Q_tot(o，a)

由于近似的全局动作价值Q′_tot为通过单个智能体的动作价值Q_i近似得到的，通过公式建立的约束关系，等价于真实全局动作价值Q_tot和单个智能体的动作价值Q_i的关系，即：

将全局动作价值Q_tot分解为单个智能体的动作价值Q_i，保证了最优联合动作与局部最优动作集合的一致性。