[发明专利]基于多智能体强化学习的无人机协同控制训练方法及系统

权利要求书

1.一种基于多智能体强化学习的无人机协同控制训练方法，其特征在于，包括：

步骤S1：建立大规模无人机集群的任务模型；

步骤S2：根据任务模型建立马尔科夫博弈模型；

步骤S3：构建MADDPG算法神经网络；

步骤S4：训练MADDPG算法神经网络；

步骤S5：将MADDPG算法神经网络加载到无人机群中，执行无人机集群协同控制，将所述神经网络输出的动作映射为对应的无人机的控制指令。

2.如权利要求1所述的基于多智能体强化学习的无人机协同控制训练方法，其特征在于，所述步骤S1具体包括：

(1)任务描述：描述无人机集群在场景中的协同任务，所述协同任务为无人机集群需要在一定时间内全部到达指定目的地，其中在一定范围内存在建筑群和障碍物；所述无人机集群中的所有无人机都是同构的，拥有相同的性能参数；

(2)环境约束：

初始坐标约束：场景中无人机i在初始区域内随机产生，目标位置与障碍物位置在目标区域一定距离内随机出现；其无人机i在初始时刻到目标区域g的距离d_ig满足：

d_i,g≥d_init

其中，d_init为成功完成任务的有效距离；

高度与边界约束：其飞行高度满足如下约束：

h_min≤h≤h_max

其中，h_min为最低飞行高度，h_max为最大飞行高度；

速度与加速度约束：在三维空间中，无人机的速度和加速度需满足最大值约束：

|v_x,y,z|≤v_maxx,y,z，

|a_x,y,z|≤a_maxx,y,z；

最大偏航角约束：假设无人机航迹点i的坐标为(x_i,y_i,z_i)，则从点i-1到点i的航迹段的水平投影为α_i＝(x_i-x_i-1,y_i-y_i-1)^T，那么最大偏航角φ约束为：

障碍物约束：无人机与障碍物的距离l满足：

l≥R_saft+l_min+R_UAV

式中，R_saft为规定的安全距离；l_min为障碍物在无人机方向上的长度；R_UAV为无人机半径。