[发明专利]一种基于分层强化学习的多无人机路径协同规划方法及装置

摘要

本发明一种一种基于分层强化学习的多无人机路径协同规划方法及装置，提取多无人机中的每个无人机的特征空间；再依据多无人机中无人机的任务目标，对任务目标中需要执行的任务进行分层即分为多个子任务，每一个子任务由一个神经网络实现，形成由多个子任务构成的各神经网络，并初始化各神经网络参数，得到初始各神经网络；对各神经网络进行关联；输出结果与目标输出之间的差距作为损失函数，利用梯度下降对进行各神经网络进行参数更新，当损失函数的值小于给定阈值时或达到指定的步数时，各神经网络训练完毕；将各自特征空间中的特征向量依次通过步各神经网络，得到各输出值；选取使最大的动作，作为各无人机的控制信号，即实现多无人机协同路径规划。

主权项

1.一种基于分层强化学习的多无人机路径协同规划方法，其特征在于，包括以下步骤：步骤S01：提取多无人机中的每个无人机的特征向量(S_t，a_t)，S_t为无人机状态向量，a_t为无人机每一时刻t所采取的动作；所有无人机的特征向量组成特征空间(S，A)，S代表无人机的状态向量；A代表无人机采取的动作；对所有的特征空间进行存储，形成记忆库ERB(Experience Replay Buffer)；再依据多无人机中无人机的任务目标，对任务目标中需要执行的任务进行分层即分为多个子任务，每一个子任务由一个神经网络实现，形成由多个子任务构成的各神经网络，并初始化各神经网络参数，得到初始各神经网络；步骤S02：对各神经网络进行关联，将步骤S01所获得的特征空间中所有的特征向量依次通过初始各神经网络，得到输出结果，记为Q_eval(S，A，θ₀)，θ₀是初始各神经网络的参数；再依据强化学习时序差分预测理论，计算目标输出值Q_target(S，A，θ₀)，特征空间(S，A)与Q_target(S，A，θ₀)目标输出值一起，得到各神经网络的训练集{(S，A)，Q_target(S，A，θ₀)}；步骤S03：最小化步骤S02中得到的输出结果与目标输出值Q_target(S，A，θ₀)之间的差距|Q_eval(S，A，θ₀)‑Q_target(S，A，θ₀)|²，作为损失函数，利用梯度下降对进行各神经网络进行参数更新，不断更新θ₀，当损失函数的值小于给定阈值时或达到指定的步数时，认为各神经网络训练完毕，得到收敛的各神经网络；步骤S04：在上述步骤得到收敛的各神经网络后，控制多无人机进行协同路径规划，利用步骤S01所述方法，对各无人机所采集到的雷达观测信号进行量化，得到各自的特征空间；将各自特征空间中的特征向量依次通过步骤S03获得的收敛的各神经网络，得到各输出值；选取使最大的动作，作为各无人机的控制信号，即实现多无人机协同路径规划。