[发明专利]基于注意力机制的多智能体值函数分解方法及装置

权利要求书

1.一种连续动作控制下基于注意力机制的多智能体值函数分解方法，其特征在于，包括以下步骤：

步骤S1：获取多个智能体决策下的状态轨迹；

步骤S2：构建Attention注意力机制网络、各个智能体的主值网络、各个智能体的主策略网络、QMIX主值网络、各个智能体的副值网络、各个智能体的副策略网络、QMIX副值网络；

步骤S3：基于状态轨迹和离轨策略算法的多智能体值函数分解学习过程，对所述Attention注意力机制网络、各个智能体的主值网络、各个智能体的主策略网络、QMIX主值网络、各个智能体的副值网络、各个智能体的副策略网络、QMIX副值网络进行更新；以及

步骤S4：根据更新的多个网络生成更新后的策略模型，对策略模型进行测试。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1，包括：

根据应用场景设计部分观测仿真器，通过所述仿真器与所述应用场景进行交互得到所述应用场景下一时刻的观测状态。

3.根据权利要求1所述的方法，其特征在于，所述步骤S3，包括：

步骤S31，初始化所述仿真环境env、所述Attention注意力机制网络Attention_ψ、所述各个智能体主值网络Q_i、所述各个智能体主策略网络π_i、所述QMIX主值网络QMIX、所述各个智能体副值网络Q′_i、所述各个智能体副策略网络π′_i、所述QMIX副值网络QMIX′；

步骤S32，在当前状态依据策略选取动作并转移到下一状态并得到当前时刻的奖励值r_t，根据当前状态o_t、当前动作a_t、当前时刻的奖励值r_t和下一状态o_t+1组成四元组(o_t，a_t，r_t，o_t+1)，并将所述四元组存储进生成数据缓存器B_π；

步骤S33，在所述生成数据缓存器B_π中的数据量达到预设数据量阈值后，每个时间步取出部分数据对所述Attention注意力机制网络、所述各个智能体主值网络、所述QMIX主值网络进行更新；

步骤S34，每隔预设时间利用确定性策略梯度对所述各个智能体主策略网络进行更新，并对所述各个智能体副值网络Q′_i、所述各个智能体副策略网络π′_i、所述QMIX副值网络QMIX′的参数进行软更新。