[发明专利]基于强化学习的变化环境多智能体控制方法与装置

权利要求书

1.一种基于强化学习的变化环境多智能体控制方法，其特征在于，包括：

将当前环境信息和各个智能体的隐含状态输入到智能体网络，得到所述智能体网络输出的各个智能体的观测动作价值；所述观测动作价值用于表征对应智能体当前执行所有动作的预估价值；

基于各个智能体的观测动作价值，控制各个智能体执行动作；

其中，所述智能体网络是基于样本环境信息和样本智能体的样本隐含状态，联合自加权网络进行强化学习得到的；所述自加权网络用于确定所有样本智能体执行动作的联合动作价值；在强化学习过程中，所述自加权网络的输入包括所述智能体网络输出的所有样本智能体的样本观测动作价值。

2.根据权利要求1所述的基于强化学习的变化环境多智能体控制方法，其特征在于，所述智能体网络包括多个流网络，每个流网络对应于智能体的动作空间中的一个动作子空间；所述流网络用于确定智能体当前执行对应动作子空间中动作的预估价值；所述动作子空间按动作的功能进行划分，且不同动作子空间无交集；所述观测动作价值包括所述动作空间中所有动作的预估价值。

3.根据权利要求1所述的基于强化学习的变化环境多智能体控制方法，其特征在于，所述联合动作价值是基于如下步骤确定的：

基于所述自加权网络的映射参数，对各个样本智能体的样本观测动作价值进行非线性映射，得到各个样本智能体的价值映射结果；

基于各个样本智能体的价值映射结果，以及所述自加权网络中各个样本智能体的价值权重，确定所述联合动作价值。

4.根据权利要求3所述的基于强化学习的变化环境多智能体控制方法，其特征在于，所述自加权网络中各个样本智能体的价值权重是基于如下步骤确定的：

基于所述自加权网络中的编码参数，分别对各个样本智能体的局部观测信息和样本环境的全局状态进行编码，得到第一中间变量和第二中间变量；

基于第一中间变量和第二中间变量，确定各个样本智能体的价值权重。

5.根据权利要求1所述的基于强化学习的变化环境多智能体控制方法，其特征在于，所述智能体网络是基于如下步骤确定的：

基于随机选取的多组转移历史数据，以及预设的损失函数，对初始智能体网络和初始自加权网络进行联合训练，得到所述智能体网络；

其中，联合训练过程包括多个训练阶段，任一训练阶段的损失函数的更新目标是基于所述任一训练阶段的上一训练阶段完成时的阶段自加权网络和阶段智能体网络计算得到的；各组转移历史数据包括每一次联合训练之前的各个历史时刻的联合观测、联合动作以及样本环境的全局状态；所述联合观测和联合动作分别表征所有样本智能体的局部观测信息和执行动作。

6.根据权利要求5所述的基于强化学习的变化环境多智能体控制方法，其特征在于，所述更新目标是基于如下步骤确定的：

基于下一历史时刻的联合观测、所述阶段智能体网络以及所述阶段自加权网络，确定下一历史时刻的联合动作价值；

基于从样本环境中获取的联合奖赏，以及所述联合动作价值，确定所述更新目标。

7.根据权利要求6所述的基于强化学习的变化环境多智能体控制方法，其特征在于，所述样本观测动作价值包括样本智能体执行所有动作的样本预估价值；

所述基于下一历史时刻的联合观测、所述阶段智能体网络以及所述阶段自加权网络，确定下一历史时刻的联合动作价值，包括：

基于下一历史时刻的联合观测以及所述阶段智能体网络，得到下一历史时刻所有样本智能体的预估目标价值；所述预估目标价值是对应样本智能体的所有样本预估价值中的最大值；

基于所述预估目标价值以及所述阶段自加权网络，得到所述联合动作价值。