[发明专利]一种基于分层强化学习的多无人机路径协同规划方法及装置

权利要求书

1.一种基于分层强化学习的多无人机路径协同规划方法，其特征在于，包括以下步骤：

步骤S01：提取多无人机中的每个无人机的特征向量(S_t，a_t)，S_t为无人机状态向量，a_t为无人机每一时刻t所采取的动作；所有无人机的特征向量组成特征空间(S，A)，S代表无人机的状态向量；A代表无人机采取的动作；对所有的特征空间进行存储，形成记忆库ERB(Experience Replay Buffer)；再依据多无人机中无人机的任务目标，对任务目标中需要执行的任务进行分层即分为多个子任务，每一个子任务由一个神经网络实现，形成由多个子任务构成的各神经网络，并初始化各神经网络参数，得到初始各神经网络；

步骤S02：对各神经网络进行关联，将步骤S01所获得的特征空间中所有的特征向量依次通过初始各神经网络，得到输出结果，记为Q_eval(S，A，θ₀)，θ₀是初始各神经网络的参数；再依据强化学习时序差分预测理论，计算目标输出值Q_target(S，A，θ₀)，特征空间(S，A)与Q_target(S，A，θ₀)目标输出值一起，得到各神经网络的训练集{(S，A)，Q_target(S，A，θ₀)}；

步骤S03：最小化步骤S02中得到的输出结果与目标输出值Q_target(S，A，θ₀)之间的差距|Q_eval(S，A，θ₀)-Q_target(S，A，θ₀)|²，作为损失函数，利用梯度下降对进行各神经网络进行参数更新，不断更新θ₀，当损失函数的值小于给定阈值时或达到指定的步数时，认为各神经网络训练完毕，得到收敛的各神经网络；

步骤S04：在上述步骤得到收敛的各神经网络后，控制多无人机进行协同路径规划，利用步骤S01所述方法，对各无人机所采集到的雷达观测信号进行量化，得到各自的特征空间；将各自特征空间中的特征向量依次通过步骤S03获得的收敛的各神经网络，得到各输出值；选取最大的动作，作为各无人机的控制信号，即实现多无人机协同路径规划。

2.根据权利要求1所述的基于分层强化学习的多无人机路径协同规划方法，其特征在于：步骤S01中，提取多无人机中的每个无人机的特征向量(S_t，a_t)的过程如下：

获取多无人机中每个无人机的雷达观测信号，雷达观测信号包含无人机的位置信息和速度信息，对所述雷达观测信号进行模数转换得到数字化表示的无人机状态向量S_t＝(x₀，y₀，z₀，v_x，v_y，v_z，d)，其中t表示当前时刻，(x₀，y₀，z₀)为此时无人机在三维空间中的坐标，(v_x，v_y，v_z)为此时无人机的速度在三个方向上的分解，d为无人机与障碍物之间的距离；获取无人机每一时刻t所采取的动作a_t，与状态向量一起组成特征向量(S_t，a_t)，所有的特征向量(S_t，a_t)组成特征空间(S，A)。