[发明专利]一种基于多模态数据融合的航班推出状态监视方法

权利要求书

1.一种基于多模态数据融合的航班推出状态监视方法，其特征在于，包括如下步骤：

步骤1，构建管制意图识别规则，从管制指令文本中提取管制意图；

步骤2，构建航班意图识别模型，从场面监视视频中提取航班意图；

步骤3，设计意图对齐规则，将不同时间上的管制意图和航班意图进行对齐处理；

步骤4，意图匹配判断，将对齐的管制意图和航班意图进行融合，判断是否出现匹配不一致；若不一致，触发告警；

步骤2中所述构建航班意图识别模型包括：使用高分辨率摄像头监视场面停机位，采集停机位监视视频数据，按区域划分图像，形成面向单一停机位的监视图像，标注监视图像，从而构建测试数据集；基于卷积神经网络构建图像分类模型，所述图像分类模型能够识别三种航班状态类型：一是航班在停机位上，即未移动状态；二是航班一部分在停机位上，即不确定状态；三是航班不在停机位上，即移动状态；采用测试数据集训练图像分类模型。

2.根据权利要求1所述的一种基于多模态数据融合的航班推出状态监视方法，其特征在于，步骤1中，所述构建管制意图识别规则包括：分析已有管制指令文本，整理与推出开车过程相关指令的语法结构和词汇分布，构建关键词字典；采用字典遍历法实现管制意图识别；

所述与推出开车过程相关指令包括航班号、动作、起始位置和终点位置在内的信息；

所述关键词字典包括航班动作字典、场面位置字典和航班号字典，所述航班动作字典包括与推出开车过程相关的动作指令关键词：推出、开车、推开和推出开车；所述场面位置字典包括与推出开车过程相关的起始位置和终点位置关键词：停机位和滑行道位置字符串；所述航班号字典包括从管制自动化系统中采集的航班信息中的航班号。

3.根据权利要求2所述的一种基于多模态数据融合的航班推出状态监视方法，其特征在于，步骤1中，所述从管制指令文本中提取管制意图包括：将管制话音转化成管制指令文本；遍历关键词字典，匹配管制指令文本中与推出开车过程相关指令，生成结构化指令并储存。

4.根据权利要求3所述的一种基于多模态数据融合的航班推出状态监视方法，其特征在于，步骤1中，所述遍历关键词字典，匹配管制指令文本中与推出开车过程相关指令包括：

遍历航班动作字典中关键词，筛选获得推出开车场景下的管制指令文本，提取动作；

遍历场面位置字典中的所有位置字符串，从推出开车场景下的管制指令文本中，提取起始位置和终止位置；

遍历航班号字典中的航班号信息，从推出开车场景下的管制指令文本中提取航班号字符串。

5.根据权利要求4所述的一种基于多模态数据融合的航班推出状态监视方法，其特征在于，步骤1中，所述生成结构化指令并储存包括：将匹配管制指令文本中与推出开车过程相关指令提取的信息进行汇聚形成结构化指令，将所述结构化指令、所述结构化指令的管制意图以及关联指令发出时间存储进数据库。