[发明专利]一种基于奖励重塑强化学习的飞行器智能引导方法

权利要求书

1.一种基于奖励重塑强化学习的飞行器智能引导方法，其特征在于，包括以下步骤：

(1)根据飞行任务确定使用空域范围，设置飞行器的动态模型及可移动目的地的动态模型；

(2)依据飞行器特性，构建基于深度强化学习的引导智能体，智能体的输入是飞行器姿态和目的地信息，输出是对飞行器的引导指令；

(3)根据飞行任务，从终止条件、引导平稳性、飞行器与目的地相对姿态三个方面重塑强化学习奖励函数，重塑奖励函数的具体计算过程如下：

R(s_t，a_t，s_t+1)＝T(s_t+1)+C(a_t)+F(s_t，a_t，s_t+1)

其中，s_t为t时刻的强化学习状态，a_t为t时刻的引导指令，s_t+1为t+1时刻的强化学习状态，R(s_t，a_t，s_t+1)是重塑后的奖励函数，T(s_t+1)是终止条件奖励函数，C(a_t)是引导平滑性奖励函数，F(s_t，a_t，s_t+1)是飞行器姿态重塑奖励函数，如果引导成功，终止条件奖励为正奖励，否则为负奖励；如果引导指令变化，平滑性奖励为负奖励，否则为非负奖励，飞行器姿态重塑奖励计算公式如下：

F(s_t，a_t，s_t+1)＝φ(s_t+1)-φ(s_t)

其中，φ(s_t)是关于飞行器在t时刻状态的函数，其计算公式如下：

φ(s_t)＝aD(s_t)+bO(s_t)+cH(s_t)

其中，D(s_t)为水平距离评价函数，O(s_t)为朝向评价函数，H(s_t)为高度评价函数，a，b，c为权重；

(4)在训练模式下，设置飞行器初始姿态，包括三维坐标、俯仰角、朝向角、速度、剩余油量，设置目的地三维坐标、速度和朝向角，设置训练终止条件；

(5)利用深度强化学习的方法，训练引导智能体深度神经网络，在每个训练步长内，根据飞行器当前姿态，生成引导指令，根据指令质量给出重塑后的奖励值，最终引导飞行器沿特定方向到达按动态模型移动的目的地；

(6)经过海量训练后，在应用模式下，根据输入的飞行器姿态和目的地信息，准确地生成引导指令，引导飞行器沿特定方向到达移动目的地。

2.根据权利要求1所述的基于奖励重塑强化学习的飞行器智能引导方法，其特征在于，步骤(1)中，目的地是移动的，具备动态模型。

3.根据权利要求1所述的基于奖励重塑强化学习的飞行器智能引导方法，其特征在于，步骤(4)中，目的地初始信息不仅包含三维坐标信息，还包括朝向信息，目的地在训练中依据其动态模型，位置和朝向不断变化，智能体引导飞行器沿特定方向到达移动目的地。

4.根据权利要求1所述的基于奖励重塑强化学习的飞行器智能引导方法，其特征在于，步骤(6)中，对于计划模式，在飞行任务开始时，根据飞行器初始姿态，生成一系列引导指令进行开环控制；对于实时模式，在飞行器飞行过程中，实时生成引导指令，进行闭环控制。