[发明专利]一种基于课程学习的多智能体深度确定性策略梯度方法

权利要求书

1.一种基于课程学习的多智能体深度确定性策略梯度方法，其特征在于，包括以下步骤：

步骤S1、搭建多智能体粒子环境，定义多智能体行为的约束条件，所述多智能体包括策略网络、策略目标网络、评价网络以及评价目标网络；

步骤S2、初始化各参数，设定迭代次数；

步骤S3、多智能体在多智能体粒子环境中按照策略网络动作，并将多智能体动作所产生的信息存储到经验回放池中，多智能体动作产生的信息包括下一状态信息；

步骤S4、根据经验回放池中的信息构建课程标准，计算课程标准复杂度，智能体根据课程标准复杂度从经验回放池中按照优先权重采样数据；

步骤S5、采用基于Adam优化器的深度确定性策略梯度方法对每个智能体进行训练，并更新策略网络、策略目标网络、评价网络以及评价目标网络，智能体训练完成后，将误差以及重复采样次数存储到经验回放池中进行更新；

步骤S6、判断步骤S3中的下一状态信息所对应的状态是否为终止状态，若为终止状态，则迭代停止，否则循环执行步骤S3-S5。

2.根据权利要求1所述的一种基于课程学习的多智能体深度确定性策略梯度方法，其特征在于，所述步骤S1中的约束条件包括：

单个智能体的观察结果与其他智能体的观察结果无关；

环境为未知的，智能体无法预测奖励及动作后的状态；

忽略智能体之间的通信方法。

3.根据权利要求1所述的一种基于课程学习的多智能体深度确定性策略梯度方法，其特征在于，所述步骤S2中初始化参数包括：对各智能体策略网络和评价网络的参数、样本采样批次大小、经验回放池大小、学习率、一个循环内智能体的最大步数进行初始化。

4.根据权利要求1所述的一种基于课程学习的多智能体深度确定性策略梯度方法，其特征在于，所述步骤S3中多智能体动作所产生的信息包括：状态信息、动作信息、奖励信息以及下一状态信息。

5.根据权利要求1所述的一种基于课程学习的多智能体深度确定性策略梯度方法，其特征在于，所述步骤S4中的课程标准包括优先标准函数、重复惩罚函数以及冗余信息惩罚函数，所述课程标准复杂度的计算公式为：

其中CI(x_i)为课程标准复杂度，SP(δ_iλ)为优先标准函数，RP(cn_i)为重复惩罚函数，RIP(N)为冗余信息惩罚函数，η、为加权因子。

6.根据权利要求5所述的一种基于课程学习的多智能体深度确定性策略梯度方法，其特征在于，所述优先标准函数的表达式为：

其中δ为TD误差，λ为课程因子，SP(δ_iλ)→[0,1]。

7.根据权利要求5所述的一种基于课程学习的多智能体深度确定性策略梯度方法，其特征在于，所述重复惩罚函数的表达式为：

其中cn为在经验回放池中增加的重复向量，用于记录每个样本的采样次数。

8.根据权利要求5所述的一种基于课程学习的多智能体深度确定性策略梯度方法，其特征在于，所述冗余信息惩罚函数的表达式为：

其中N为智能体个数。

9.根据权利要求1所述的一种基于课程学习的多智能体深度确定性策略梯度方法，其特征在于，所述步骤S5采用基于Adam优化器的深度确定性策略梯度方法对每个智能体进行训练，并更新策略网络、策略目标网络、评价网络以及评价目标网络的具体步骤为：

步骤S51、计算损失函数的权重，通过Adam优化器最小化损失函数来更新评价网络；

步骤S52、使用策略梯度来更新策略网络；

步骤S53、更新评价目标网络以及策略目标网络参数。