[发明专利]基于深度强化学习的动态试飞任务规划方法

说明书

一种基于深度强化学习的动态试飞任务规划方法，以同时最小化试飞周期和任务延期度为目标，构建试飞任务规划问题模型以及试飞任务选择规则和驾机安排的启发式规则；定义包括试验驾机特征信息、系统特征信息和未完成任务特征信息的试飞任务规划环境的状态信息以及基于规划目标的奖励函数；通过建立基于决策‑评价的近端策略优化模型，利用训练数据对优化模型进行训练后，在线动态规划试飞任务。本发明既保证算法的计算效率，也可以提高启发式规则的全局最优能力，显著优化试飞周期和任务延期度。

技术领域

本发明涉及的是一种飞机制造领域的技术，具体是一种基于深度强化学习的动态试飞任务规划方法。

背景技术

试飞任务规划问题作为一类NP难问题，存在三大类求解算法。第一类为精确算法，此类方法可以求出结构化的组合优化问题的最优解，例如，分支定界法、数学规划法等。精确方法是一类完备的优化问题求解方法，但精确方法在解决大规模问题时效率低下。启发式算法，是一种基于直观或经验构造的面向问题的方法,在实际应用时，通常根据一定规则，逐步进行搜索生成任务执行的方案。启发式算法简单、直观易实现，提高算法的效率，容易陷入局部最优。元启发式算法，在仿生学的启发下，从自然界中的随机现象中获取灵感。典型的算法有蚁群算法，遗传算法等。元启发式算法虽然可以一种可以在一定时间内得到一个近似最优解，但在实时问题中，由于其差的泛化性导致在系统每次发生变化的情况下都需要重新计算，计算成本会随着系统的复杂程度的提高大幅度增加。因此为同时平衡全局性和计算效率，为满足实际试飞执行过程的要求，需要发明一种能够快速响应动态事件并在可接受的时间内生成可行有效的任务规划方案的方法。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于深度强化学习的动态试飞任务规划方法，针对三种常见的动态事件建立针对试飞任务规划问题的马尔可夫决策过程模型，使得深度学习方法适用于解决动态试飞任务规划问题的同时，设计相应的状态特征、动作策略以及奖励函数并结合多种启发式规则作为动作策略，既保证算法的计算效率，也可以提高启发式规则的全局最优能力，显著优化试飞周期和任务延期度。

本发明是通过以下技术方案实现的：

本发明涉及一种基于深度强化学习的动态试飞任务规划方法，包括：

步骤1、以同时最小化试飞周期和任务延期度为目标，构建试飞任务规划问题模型：针对m架试验机AC＝{AC₁，AC₂，...，AC_m}，n个试飞任务T＝{T₁，T₂，...，T_n}，其中：每一个试飞任务T_i只能在一组特定试飞机的集合上且必须在其前置试飞任务完成后进行试飞，TP_i为任务T_i的前置任务集合；任务T_i的到位时间和预计完成时间分别为和预计试飞时长为t_i；试验机AC_k在部署时间a_k后投入使用。

所述的试飞任务，受到以下动态事件影响而更新，包括：

1)任务的试飞时长改变：随着试飞试验的进行，一些任务的试飞时长可能会由于初始评估不准确或技术/人为因素而发生变化。

2)无效的任务测试结果：任务测试结果无法确认，无效的任务将不会从未完成的飞行任务集中删除。

3)飞机停飞：飞机故障或支持设备故障将导致飞机停飞以进行维修。

步骤2、构建试飞任务选择规则和驾机安排的启发式规则；

所述的试飞任务选择规则包括：