[发明专利]一种基于多模态数据融合的航班推出状态监视方法

说明书

本发明公开了一种基于多模态数据融合的航班推出状态监视方法，属于空中交通管制自动化系统技术领域，包括1、构建管制意图识别规则，从管制员发出的管制指令中识别推出意图；2、构建航班意图识别模型，从实时监视视频中提取航空器动作，捕捉航班意图；3、构建意图对齐融合规则，判断管制意图信息和航班意图信息是否存在冲突。通过对管制意图和航班意图进行融合处理，该方法可以实现以下辅助功能：及时判断航空器是否遵循管制员发出的推出指令，若机长未按照管制指令行动，或在没有管制指令的情况下擅自行动，则进行不一致告警，实现对航班推出状态的监视功能。

技术领域

本发明属于空中交通管制自动化系统技术领域，尤其涉及一种基于多模态数据融合的航班推出状态监视方法。

背景技术

随着近30年中国民航业的蓬勃发展，空中交通管理的需求不断膨胀，导致安全隐患问题日益突出。其中，停机位上的航班未执行管制员的推出指令，并在一段时间后擅自推出会导致滑行道冲突，引发安全隐患。当前的处置流程如下：若某航班在一段时间后才推出停机位，滑至滑行道上，则视为无效行为，管制员会下指令让该航班再滑入停机位。该流程存在巨大的安全隐患，即当航班滑行至滑行道后才可能被发现，若出现滑行道冲突或场面繁忙时，将会出现严重后果。针对这一问题，管制员只能依靠场面监视系统进行实时追踪，导致问题发现滞后且效率低下。

该问题的难点在于：当前没有一个系统能识别管制员意图和航班意图，因此难以判断两个意图间是否一致，无法预防因未执行指令或擅自执行指令而导致的冲突问题。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于多模态数据融合的航班推出状态监视方法。

技术方案：本发明提供了一种基于多模态数据融合的航班推出状态监视方法，包括以下步骤。

步骤1，构建管制意图识别规则，从管制指令文本中提取管制意图。

步骤2，构建航班意图识别模型，从场面监视视频中提取航班意图。

步骤3，设计意图对齐规则，将不同时间上的管制意图和航班意图进行对齐处理。

步骤4，意图匹配判断，将对齐的管制意图和航班意图进行融合，判断是否出现匹配不一致；若不一致，触发告警。

在一种实现方式中，步骤1中，所述构建管制意图识别规则包括：分析已有管制指令文本，整理与推出开车过程相关指令的语法结构和词汇分布，构建关键词字典；采用字典遍历法实现管制意图识别。

所述与推出开车过程相关指令包括航班号、动作、起始位置和终点位置在内的信息。

所述关键词字典包括航班动作字典、场面位置字典和航班号字典，所述航班动作字典包括与推出开车过程相关的动作指令关键词：推出、开车、推开和推出开车；所述场面位置字典包括与推出开车过程相关的起始位置和终点位置关键词：停机位和滑行道位置字符串；所述航班号字典包括从管制自动化系统中采集的航班信息中的航班号。

构建关键词字典的优势在于，可以通过遍历字典快速提取管制指令文本中的关键信息，有助于精准提取管制意图信息。

在一种实现方式中，步骤1中，所述从管制指令文本中提取管制意图包括：将管制话音转化成管制指令文本；遍历关键词字典，匹配管制指令文本中与推出开车过程相关指令，生成结构化指令并储存。

在一种实现方式中，步骤1中，所述遍历关键词字典，匹配管制指令文本中与推出开车过程相关指令包括：遍历航班动作字典中关键词，筛选获得推出开车场景下的管制指令文本，提取动作。

遍历场面位置字典中的所有位置字符串，从推出开车场景下的管制指令文本中，提取起始位置和终止位置。

遍历航班号字典中的航班号信息，从推出开车场景下的管制指令文本中提取航班号字符串。