[发明专利]一种多智能体编队的控制方法和系统

权利要求书

1.一种多智能体编队的控制方法，其特征在于，包括以下步骤，

获取多智能体中各个智能体的历史状态数据和历史动作数据；所述状态数据包括各个智能体的目标点和测量点的位置偏差数据及速度偏差数据；所述目标点包括导航目标点和编队目标点；所述动作数据包括对各个智能体的控制力数据，其中，所述控制力数据包括导航控制力数据和编队控制力数据；所述控制力数据计算公式如下：

其中，k_α，k_γ分别为编队控制力参数和导航控制力参数，且是编队控制力、是导航控制力；

通过所述历史状态数据和历史动作数据通过DDPG算法构建以各个智能体的状态数据为输入量，以各个智能体的最优动作数据为输出量的编队优化模型；

构建编队优化模型，包括以下步骤：

构建actor、critic、target actor和target critic网络；其中，所述actor网络以状态数据为输入量，通过动作网络函数计算出输入的状态数据所对应的动作数据作为输出量；所述critic以状态数据以及以该状态数据下的动作数据为输入量，并通过价值网络函数计算出在该状态数据下的动作数据下的评价值作为输出量；

构建仿真环境，所述仿真环境以动作数据作为输入量，通过回报值函数计算所述动作数据的回报值作为输出量；

构建actor、critic、target actor和target critic网络的更新算法；

设置actor、critic、target actor和target critic网络的探索学习策略；

获取所述历史状态数据和历史动作数据，并利用target actor和target critic网络、所述actor、critic、target actor和target critic网络的更新算法以及探索学习策略多次训练actor和critic网络，选取最优actor和critic网络作为编队优化模型；

所述回报值函数为：

其中，r_q，r_p，r_u分别为位置偏差参数、速度偏差参数以及控制力输出参数、q_error是位置偏差、p_error是速度偏差、u是控制力输出，q_max为设定的最大位置偏差的范围，p_max为设定的最大速度偏差的范围，u_max为设定的最大控制力输出的范围；

获取待编队的多智能体的实时状态数据，并输入所述编队优化模型中求解获得各个智能体的最优动作数据；

根据所述各个智能体的最优动作数据对所述多智能体进行优化编队。

2.根据权利要求1所述的多智能体编队的控制方法，其特征在于，获取所述目标点和测量点之间的位置偏差数据和速度偏差数据，包括，

获取多智能体中各个智能体的位置数据、速度数据以及各个智能体间的连接强度数据，确定多智能体编队的目标半径，并通过目标点位置偏差计算公式和目标点速度偏差计算公式计算各个智能体的目标点和测量点之间的位置偏差数据和速度偏差数据；

其中，所述位置偏差数据计算公式为：

q_{error，i，γ}＝q_r-q_i；

其中，所述目标点谏度偏差数据计算公式为：

p_{error，i，γ}＝p_r-p_i；

其中，q代表位置，p代表速度，i代表第i个智能体，j代表第j个智能体，代表智能体i的邻居集合数据，a_ij(q)代表智能体i和j之间的连接强度数据，c代表多智能体编队的目标半径数据，q_r代表导航目标点位置数据，p_r代表导航目标点速度，q_{error，i，γ}代表智能体i和导航目标点之间的位置偏差数据，p_{error，i，γ}代表智能体i和导航目标点之间的速度偏差数据，q_{error，i，α}代表智能体i和编队目标点之间的位置偏差数据，p_{error，i，α}代表智能体i和编队目标点之间的速度偏差数据。