[发明专利]一种固定翼无人机自主控制协作策略训练方法

权利要求书

1.一种固定翼无人机自主控制协作策略训练方法，其特征在于：采用了分层强化学习的方法将无人机协作策略分为高层策略和底层策略；所述高层策略用于协作策略；所述底层策略用于飞行控制；基于动力学构建固定翼无人机操控仿真环境E_s，用于训练无人机飞行控制及协作目标达成；构建简化的剥离了飞行控制的抽象环境E_a，用于预训练协作策略；所述底层策略通过监督学习的方式学习得到；将高层策略和底层策略进行策略融合，最终将训练好的自主控制协作策略用于真实环境中；

使用APEX_QMIX算法，根据抽象环境E_a提供的观测信息进行协作策略的预训练，根据固定翼无人机操控仿真环境E_s提供的观测信息进行融合策略的训练；所述APEX_QMIX算法为采用APEX_X结构的QMIX算法。

2.根据权利要求1所述的固定翼无人机自主控制协作策略训练方法，其特征在于：所述高层策略接受观测信息，给出飞行的目标点，控制无人机的协作；所述底层策略接受高层策略的目标点，选择最佳的飞行方式，以最快最优的方式飞到目标点。

3.根据权利要求1所述的固定翼无人机自主控制协作策略训练方法，其特征在于：基于动力学构建固定翼无人机操控仿真环境E_s的模拟器Em_s；构建简化的剥离了飞行控制的抽象环境E_a的模拟器Em_a；所述模拟器Em_s用于近似模拟马尔科夫过程S，A，P，R，提供与真实场景下无人机一致的观测信息，并提供与真实无人机一致的操控指令，操控指令包括控制飞行的三个基本角度变化指令以及控制无人机飞行速度的油门控制指令；所述三个基本角度变化指令包括俯仰指令、翻滚指令和偏航指令；所述操控指令的形式为A＝Δv，Δα，Δβ，Δγ，空间大小为R⁴；S为无人机状态信息，A为无人机动作，P为环境状态转移函数，R为环境奖励；其中S＝V，α，β，γ，分别对应无人机当前的速度，相对于北偏东坐标系的三个角度。

4.根据权利要求3所述的固定翼无人机自主控制协作策略训练方法，其特征在于：所述模拟器Em_a不涉及真实场景下的无人机操控信息，而是将无人机自主控制过程抽象简化为三维环境中质点游戏；将无人机看成质点，将固定步长无人机飞行过程抽象为可到达的目标点；在该模拟器中生成红蓝双方无人机群，进行对抗协作训练。

5.根据权利要求1所述的固定翼无人机自主控制协作策略训练方法，其特征在于：所述的底层策略通过监督学习的方式学习得到，构建单次飞行动作任务；并采集飞行员控制无人机过程中，无人机作出动作的真实轨迹数据；将轨迹对应的所有对抽取出来构造新的集合D＝{(s₁，a₁)，(s₂，a₂)...}，将状态作为特征，无人机驾驶杆指令作为标记，通过近端策略优化的强化学习方法进行学习，得到最优策略模型；所述底层策略的监督学习目标函数如下：

a_t为t时刻无人机智能体的动作，S_t为t时刻无人机状态信息，θ′是与环境交互的、用于采样的策略模型参数，θ是更新学习的策略模型参数，p_θ′、p_θ分别为θ′、θ给出的状态转移概率函数，是在状态S_t下选择动作a_t的概率，A^θ为θ′的优势函数，E为期望。

6.根据权利要求5所述的固定翼无人机自主控制协作策略训练方法，其特征在于：所述的驾驶杆指令，具体包含无人机的滚转指令、俯仰指令、偏航指令以及动力指令。

7.根据权利要求3所述的固定翼无人机自主控制协作策略训练方法，其特征在于：在简化的剥离了飞行控制的抽象环境E_a的模拟器Em_a中，进行红蓝双方无人机群对抗协作训练，对于一方无人机群，采用APEX_QMIX算法的集中式学习，分布式执行应用的框架；通过集中式的信息学习，得到每个无人机的分布式策略；借用全局状态信息来提高算法效果；使用一个神经网络来整合每个智能体的局部值函数而得到联合动作值函数来进行每个无人机的动作的评价。