[发明专利]一种基于深度强化学习的航空器间隔管理决策方法

说明书

本发明提供了一种基于深度强化学习的航空器间隔管理决策方法，可以实现从输入到输出的端到端的直接控制。本方法将深度强化学习用于航空领域，设计了一种基于深度强化学习的航空器间隔管理决策方法。使用深度循环Q网络对终端区内的态势进行预测判断，通过设计并训练航班调速策略实现终端区内的飞行安全间隔自主保持。使用该方法对繁忙运行情况下的终端区空中航空器进行调配，实现了繁忙扇区的冲突解脱与连续无冲突运行，减轻了管制员面对复杂运行场景的间隔调配决策压力提高扇区管制运行效率与安全保障能力。

技术领域

本发明涉及民航空中交通管制领域，尤其涉及一种基于深度强化学习的航空器间隔管理决策方法。

背景技术

随着航空运输产业的飞速发展，日常出行、货物运输等需求快速增长，繁忙机场日均航班都在1000架次以上，为了确保繁忙情况下航空器的安全间隔，确保航空器安全飞行，需要牺牲一定的效率，从而带来一些其他影响，比如航班平均飞行时间加长，飞行路径偏离标准进离场航线，管制员管制压力增大等。现有的管制系统只能对短期冲突进行探测，无法预测中长期冲突，也无法为管制员提供间隔保持决策建议。

强化学习是机器学习的一个重要分支，其本质是描述和解决智能体在与环境的交互过程中学习策略以最大化回报或实现特定目标的问题。随着深度学习的发展，借助于深度学习中的神经网络，强化学习可以直接从原始输入数据中提取和学习特征知识，然后根据提取出的特征信息再利用传统的强化学习算法学习控制策略，而无需人工提取或启发式学习特征。这种结合了深度学习的强化学习方法称为深度强化学习。因此使用深度强化学习的方法实现航空器之间的间隔自主保持，对提高扇区运行效率，减少潜在冲突具有实际意义。

发明内容

发明目的：本方法的目的在于为管制员提供管制决策建议，实现航空器冲突自动解脱与飞行安全间隔自主保持，提高扇区高密度运行状态下的运行效率。

本方法基于目前运行的管制自动化系统，获取扇区内航班的位置、速度、航向等基础态势信息，并根据扇区标准进离场程序的结构、航空器尾流间隔类型等信息，向存在潜在冲突的航班发出调速调高指令，消除潜在冲突，实现扇区高密度运行下的连续正常运行，降低该情况下管制员的管制压力。

为实现以上目的，本方法提供一种基于深度强化学习的航空器间隔管理决策方法，实现对当前扇区内态势进行分析，对可能发生冲突的航班提供调速建议，解脱潜在冲突。

本发明包括如下步骤：

步骤1：定义用于航空器飞行指挥的深度强化学习环境的动作、状态空间；

步骤2：构建航空器间隔精细决策深度强化学习网络；

步骤3：训练航空器间隔精细决策深度强化学习网络；

步骤4：通过航空器间隔精细决策深度强化学习网络实现航空器间隔的精细管理。

步骤1包括：

使用两个深度强化学习智能体，分别为航班选择智能体和动作选择智能体，其中航班选择智能体的状态空间为当前扇区内所有可控航班的位置信息、航向信息和机型信息，动作空间为在当前扇区内所有可控航班中选择小于等于两架航班进行机动；动作选择智能体的状态空间为航班选择智能体选择的待机动航班及距离待机动航班最近的三个航班的位置信息、航向信息、机型信息，以及距离待机动航班的距离，动作空间为当前航班接下来时刻的机动动作。

步骤2包括：

所述航空器间隔精细决策深度强化学习网络包括航班选择智能体和动作选择智能体，其中航班选择智能体包括一个目标价值计算网络Target Q和一个动作价值计算网络Eval Q；Target Q网络用于训练Eval Q网络，评判Eval Q网络的输出；