[发明专利]一种基于BERT模型的航空安全报告多原因分类方法

说明书

本发明涉及一种基于BERT模型的航空安全报告多原因分类方法，包括以下步骤：S1、构建航空不安全事故的历史数据集；S2、对历史数据集进行数据预处理；S3、构建BERT模型，包括模型微调、模型训练和模型评估；S4、对于训练好的BERT模型实时输入数据集并预测不同层次的事故原因类别。与现有技术相比，本发明能够有效提升事故原因分类表现，预测不同层次的事故原因类别。

技术领域

本发明涉及航空安全、自然语言处理及人工智能技术领域，尤其是涉及一种基于BERT模型的航空安全报告多原因分类方法。

背景技术

对大量航空事故报告进行分类，能够便于快速管理数据，并获得有价值的见解，大多数事故信息被通过自然语言文本的形式记录下来，由于文本信息量巨大，识别不同事故的原因类别往往需要经过仔细的统计和分析，这将耗费大量人力和时间。与此同时，航空文本数据存量大、增长快、利用率低，仅凭人工来归类、管理事故报告将成为一项繁琐且低效的工作，因此，利用自然语言处理技术进行自动化文本分类具有重大意义。

美国国家运输安全委员会(National Transportation Safety Board,NTSB)收集了大量涉及航空不安全事件，并将过程描述、可能原因等调查结果记录在航空安全报告中，NTSB航空安全报告是识别航空飞行事故发生原因的最佳信息来源，具有标准性、全面性和代表性。

目前，航空安全文本的常用分类方法为传统机器学习方法，与当前自然语言处理领域最前沿的技术存在差距，未能达到航空领域高精度要求，此外，现有的航空安全文本分类主要针对二元分类或多元分类任务，预测得到的原因类别过于宏观，无法得到详细的航空事件原因信息。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于BERT模型的航空安全报告多原因分类方法，一方面，本发明采用目前先进的深度学习文本分类模型-BERT模型，能够弥补过往分类模型精度不足的缺陷：BERT是由Google提出的一种以无监督的方式利用大量无标注文本训练形成的语言模型，从预训练BERT模型中得到的文本向量可以在多个任务中快速迁移，针对文本分类等特定的下游任务，只需添加对应输出层进行微调，另一方面，本发明划分三种事故原因类别层次，分别训练三个多标签分类模型，能够解决原因类别宏观、信息有限的问题：结合FAA发布的JASC代码(Joint Aircraft System/Component，航空器系统/部件通用代码)，分别以不同层原因类别作为输出，训练多个分类模型，用来预测得到不同层次、不同详细程度的事故原因类别。

本发明的目的可以通过以下技术方案来实现：

一种基于BERT模型的航空安全报告多原因分类方法，包括以下步骤：

S1、构建航空不安全事故的历史数据集；

S2、对历史数据集进行数据预处理；

S3、构建BERT模型，包括模型微调、模型训练和模型评估；

S4、对于训练好的BERT模型实时输入数据集并预测不同层次的事故原因类别。

所述的步骤S1中，基于美国NTSB航空不安全事故报告数据库，提取包括事故描述和事故原因的历史数据，构成用于训练和评估BERT模型的历史数据集。

所述的步骤S1具体包括以下步骤：

S101、对NTSB数据收录的航空事故报告对应的数据摘录，将Microsoft Access格式转化为SQL格式，以便进行数据查询分析；