[发明专利]面向高机动固定翼无人机的飞行动作控制装置及训练方法

权利要求书

1.一种面向高机动固定翼无人机的飞行动作控制装置，其特征在于，包括：

上层控制器，用于宏观无人机飞行动作选择；

下层控制器，用于对上层选择的飞行动作进行相对精细的连续引导指令优化；所述上层控制器用于宏观无人机飞行动作选择包括：

选择飞行动作，以及输入飞行状态向量S，输出离散的One-Hot编码机动控制向量；所述下层控制器用于对上层选择的飞行动作进行相对精细的连续引导指令优化包括：

根据上层控制器输出的One-Hot编码机动控制向量和飞行状态向量S进行连续引导控制量解算，输出引导控制指令；其中

通过上层控制器、下层控制器两层指令协调生成内外环综合控制指令，能够控制外环指令以及调节内环高动态连续指令；所述外环指令至少包括指令速度、指令航向；所述内环高动态连续指令至少包括指令角速度、指令过载。

2.一种面向高机动固定翼无人机的飞行动作控制装置的训练方法，其特征在于，包括如下步骤：

步骤一、对权利要求1所述的面向高机动固定翼无人机的飞行动作控制装置中的上层控制器和下层控制器进行双层神经网络控制；

步骤二、对所述上层控制器和下层控制器进行双层神经网络训练。

3.根据权利要求2所述的面向高机动固定翼无人机的飞行动作控制装置的训练方法，其特征在于，所述步骤一包括：

步骤1.1、建立双层神经网络结构，第一层作为机动编码meta-controller，负责宏观无人机飞行动作选择；

步骤1.2、第二层是低级别steer-controller，根据机动编码meta-controller给出的飞行动作，选择对应的指令进行神经网络计算，输出最终的action指令；

步骤1.3、到达预设时间后，重复由机动编码meta-controller开展新一轮调用；

步骤1.4、Meta-controller接受外在奖励，同时给与低级别-Steer-Controller内在奖励；

步骤1.5、返回步骤1.1重复执行上述步骤。

4.根据权利要求3所述的面向高机动固定翼无人机的飞行动作控制装置的训练方法，其特征在于，所述步骤1.1中，无人机飞行动作选择包括向左飞行、爬高、向右飞行、下滑、平飞；其中

所述步骤1.2中，是选择指令航向chi、指令爬升角gamma、指令航向角速率chi_dot、指令爬升角速度gamma_dot及指令飞行速度V的神经网络计算。

5.根据权利要求4所述的面向高机动固定翼无人机的飞行动作控制装置的训练方法，其特征在于，所述步骤二包括：

步骤2.1、通过在飞行仿真器中持续调用双层神经网络控制阶段来进行采样，构成样本Record，其中，样本Record包括预定数量飞行状态向量s、飞行机动动作编码g、飞行连续控制指令a、回报r及下一阶段飞行状态向量S’；

步骤2.2、下层steer-controller根据样本Record中的飞行连续控制指令a向量，和飞行机动动作编码g，评估每一个样本Record的steer-controller的最大累计回报值；

步骤2.3、上层meta-controller建立全局累计飞行回报值，来对不同目标情况下，上下两层协同控制飞行机动动作编码g和飞行连续控制指令a的共同外在奖励情况；

步骤2.4、上下两层controller进行学习更新，建立双层单步更新误差，通过随机梯度下降方法进行经验风险最小化，得到累积回报，完成双层神经网络训练；

步骤2.5、返回步骤2.1开展下一轮训练。