[发明专利]一种多模态机场数据的本体构建方法

权利要求书

1.一种多模态机场数据的本体构建方法，其特征在于：包括以下步骤：

步骤1，采集机场相关数据，包括文本数据、语音数据、图片数据和视频数据四类；

步骤2，对语音数据采用语音识别技术处理，形成相应的语音类文本数据；

步骤3，对图片数据采用图像文字描述技术处理，形成相应的图片类文本数据；

步骤4，对视频数据采用视频文字描述技术处理，形成相应的视频类文本数据；

步骤5，针对文本数据、语音类文本数据、图片类文本数据和视频类文本数据分别抽取机场数据本体的概念；

步骤6，对抽取的概念分别进行分类和分级；

步骤7，根据概念间的关系构建本体，形成多模态机场数据本体。

2.根据权利要求1所述的一种多模态机场数据的本体构建方法，其特征在于：步骤1包括：

步骤1-1，文本数据包括结构化文本数据和非结构化文本数据，结构化文本数据包括：机场环境数据、机场运行数据、飞行计划、机场观测报文即metar报和机场预报报文即taf报，非结构化文本数据包括航行通告和机场警报；

步骤1-2，语音数据包括管制话音数据和无线电通话数据；

步骤1-3，图片数据包括机场天气雷达观测图和全国气象雷达拼图；

步骤1-4，视频数据包括停机坪视频监控和机场场面视频监控。

3.根据权利要求2所述的一种多模态机场数据的本体构建方法，其特征在于：步骤2包括：

步骤2-1，构建基于Transformer模型的语音识别模型，其输入为原始语音数据，输出为原始语音所对应的原始语音文本数据；

步骤2-2，构建机场领域语音数据库，其中包含的数据包括：原始语音数据、原始语音文本数据、该语音数据的人物来源和该语音数据的地理位置来源；

步骤2-3，利用语音数据库中的数据对语音识别模型进行训练，其中的原始语音文本数据、语音数据的人物来源和语音数据的地理位置来源作为训练输入，通过RNN-T的损失，即最大化标签序列对应所有对齐的概率和的方式实现模型的训练优化；

步骤2-4，采用训练完毕的语音识别模型将所有机场原始语音数据转化成语音类文本数据。

4.根据权利要求3所述的一种多模态机场数据的本体构建方法，其特征在于:步骤3包括：

步骤3-1，构建基于CNN与LSTM的图片文字描述模型，其中卷积神经网络用于从图片中提取特征，长短记忆网络用于根据提取到的特征生成对应的文本，模型的输入是单幅的原始图片，输出是原始图片文本数据；

步骤3-2，构建并标注机场领域图片文字描述数据库，其中包含的数据包括：原始图片数据、原始图片文本数据、该图片数据的来源和该图片数据的拍摄时间；

步骤3-3，利用图片文字描述数据库中的数据对图片文字描述模型进行训练，其中原始图片文本数据、数据来源和拍摄时间作为模型的输入，BLEU作为损失函数，实现图片文字描述模型的训练；

步骤3-4，训练完毕的图片文字描述模型将所有机场原始图片数据转化成图片类文本数据。

5.根据权利要求4所述的一种多模态机场数据的本体构建方法，其特征在于，步骤4包括：

步骤4-1，构建基于CNN与LSTM的视频文字描述模型，其中卷积神经网络用于从视频的单帧图像中提取特征，提取到的特征按照时间顺序排列并输入到长短记忆网络中，从而生成原始视频数据标注文本数据；

步骤4-2，构建机场领域视频文字描述数据库，其中包含的信息包括：原始视频数据、原始视频数据标注文本数据、原始视频数据的来源和原始视频数据的拍摄时间；

步骤4-3，利用机场领域视频文字描述数据库中的数据对视频文字描述模型进行训练，其中原始视频标注文本数据、数据来源和拍摄时间作为模型的输入，BLEU作为损失函数，实现视频文字描述模型的训练；

步骤4-4，采用训练完毕的视频文字描述模型将所有机场原始视频数据转化成视频类文本数据。