[发明专利]基于深度强化学习的动态试飞任务规划方法

权利要求书

1.一种基于深度强化学习的动态试飞任务规划方法，其特征在于，以同时最小化试飞周期和任务延期度为目标，构建试飞任务规划问题模型以及试飞任务选择规则和驾机安排的启发式规则；定义包括试验驾机特征信息、系统特征信息和未完成任务特征信息的试飞任务规划环境的状态信息以及基于规划目标的奖励函数；通过建立基于决策-评价的近端策略优化(PPO)模型，利用训练数据对优化模型进行训练后，在线动态规划试飞任务。

2.根据权利要求1所述的基于深度强化学习的动态试飞任务规划方法，其特征是，所述的试飞任务规划问题模型是指：针对m架试验机AC＝{AC₁，AC₂，...，AC_m}，n个试飞任务T＝{T₁，T₂，...，T_n}，其中：每一个试飞任务T_i只能在一组特定试飞机的集合上且必须在其前置试飞任务完成后进行试飞，TP_i为任务T_i的前置任务集合；任务T_i的到位时间和预计完成时间分别为和预计试飞时长为t_i；试验机AC_k在部署时间a_k后投入使用；

所述的试飞任务，受到以下动态事件影响而更新，包括：

1)任务的试飞时长改变：随着试飞试验的进行，一些任务的试飞时长可能会由于初始评估不准确或技术/人为因素而发生变化；

2)无效的任务测试结果：任务测试结果无法确认，无效的任务将不会从未完成的飞行任务集中删除；

3)飞机停飞：飞机故障或支持设备故障将导致飞机停飞以进行维修。

3.根据权利要求1所述的基于深度强化学习的动态试飞任务规划方法，其特征是，所述的试飞任务选择规则包括：

1)选择具有最早完成时间最小值的任务：对于任务T_i的最早完成时间为：其中：a_k表示驾机k的部署时间；c_k，end为驾机k的结束时间；为任务T_i的前置任务完成的最大时间；为任务T_i的准备就绪时间；t_i表示任务任务T_i的试飞执行时间；

2)选择前向等级和最早开始时间之和最小的任务：对于任务T_i的的前向等级为：其中：succ(T_i)表示任务T_i的直接后续任务节点集合；

3)选择具有后向等级最小值的任务：对于任务T_i的的后向等级为：其中：pred(T_i)是任务T_i的直接前置任务集合；AC_i为任务T_i的兼容驾机集合；

4)选择前向等级和后向等级之和最小的任务；

所述的驾机安排的启发式规则包括：

a)选择具有最早空闲时间的驾机；

b1选择驾机利用率最小的驾机：驾机k在时刻t的利用率为：其中：n为所要安排的任务数量；FTD(t)表示时刻t的最大任务完成时间；X_ik为一个二元变量，如果任务T_i被分配到驾机k上，则值为1，否则为0；

c)随机选择可兼容的驾机。