[发明专利]一种多智能体系统的网络参数更新方法、装置及终端设备

权利要求书

1.一种多智能体系统的网络参数更新方法，其特征在于，包括：

根据多智能体系统的新颖性参数确定整体内部奖励；

根据整体内部奖励和每个智能体的贡献程度确定每个智能体的局部内部奖励；

获取每个智能体的外部奖励；

根据每个智能体的局部内部奖励和外部奖励确定各个智能体的网络更新参数，并将各个智能体的网络更新参数下发至各个智能体中，所述网络更新参数用于控制各个智能体根据网络更新参数对自身的网络进行训练。

2.根据权利要求1所述的方法，其特征在于，根据多智能体系统的新颖性参数确定整体内部奖励，包括：

根据当前时刻下多智能体在联合状态下采取联合动作的次数确定多智能体系统的新颖性参数；

基于多智能体系统的新颖性参数确定整体内部奖励。

3.根据权利要求1所述的方法，其特征在于，根据多智能体系统的新颖性参数确定整体内部奖励，包括：

根据预测误差来确定多智能体系统的新颖性参数；

基于多智能体系统的新颖性参数确定整体内部奖励。

4.根据权利要求1所述的方法，其特征在于，根据多智能体系统的新颖性参数确定整体内部奖励，包括：

基于后继特征来确定多智能体系统的新颖性参数；

再基于多智能体系统的新颖性参数确定整体内部奖励。

5.根据权利要求1所述的方法，其特征在于，根据整体内部奖励和每个智能体的贡献程度确定每个智能体的局部内部奖励，包括：

根据每个智能体的优势函数来确定每个智能体的贡献程度；

基于智能体的贡献程度和整体内部奖励确定出该智能体的局部内部奖励。

6.根据权利要求1所述的方法，其特征在于，根据整体内部奖励和每个智能体的贡献程度确定每个智能体的局部内部奖励，包括：

基于当前智能体的后继特征来确定每个智能体的贡献程度；

基于智能体的贡献程度和整体内部奖励确定出该智能体的局部内部奖励。

7.根据权利要求1至6任一项所述的方法，其特征在于，根据每个智能体的局部内部奖励和外部奖励确定各个智能体的网络更新参数，并将各个智能体的网络更新参数下发至各个智能体中，包括：

根据每个智能体的局部内部奖励和外部奖励确定每个智能体的总体奖励；

根据每个智能体的总体奖励对每个智能体的网络参数进行更新，得到网络更新参数。

8.一种网络参数更新装置，其特征在于，包括：

第一确定单元，用于根据多智能体系统的新颖性参数确定整体内部奖励；

第二确定单元，用于根据整体内部奖励和每个智能体的贡献程度确定每个智能体的局部内部奖励；

获取单元，用于获取每个智能体的外部奖励；

更新单元，用于根据每个智能体的局部内部奖励和外部奖励确定各个智能体的网络更新参数，并将各个智能体的网络更新参数下发至各个智能体中，所述网络更新参数用于控制各个智能体根据网络更新参数对自身的网络进行训练。

9.一种终端设备，其特征在于，所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。