[发明专利]针对航空安全报告叙述性文本的信息处理方法和装置

权利要求书

1.针对航空安全报告叙述性文本的信息处理方法，其特征在于，所述方法包括：

步骤S1：对多份航空安全报告的叙述性文本进行预处理，得到针对所述多份航空安全报告的词语语料库；

步骤S2：利用文档主题生成模型LDA对所述词语语料库进行训练，得到主题向量以及利用典型分布式词向量word2vec工具对所述词语语料库进行训练，得到第一词向量

步骤S3：将所述主题向量和所述第一词向量转换至同一向量空间，得到基于文档的第二词向量

步骤S4：针对所述基于文档的第二词向量采用文档-词向量混合模型lda2vec模型的损失函数计算所述词语语料库的主题分布；

步骤S5：利用主题连贯性指标对所述词语语料库的主题分布进行评估，输出所述词语语料库的主题可解释性结果。

2.根据权利要求1所述的方法，其特征在于，在步骤S1之前，所述方法包括：

对所述多份航空安全报告进行降维处理，得到叙述性文本；其中，所述叙述性文本包括描述航空安全问题的起因、地点和时间的文本。

3.根据权利要求1或2所述的方法，其特征在于，所述步骤S1包括：

利用数据清洗规则对所述多份航空安全报告的叙述性文本进行预处理，得到词语语料库；

其中，所述数据清洗规则包括：

(1)拼写检查和扩展缩略词，根据航空安全报告系统ASRS官网提供的缩略词表对部分缩略词进行扩展；

(2)将文本中的大写全部转换为小写；

(3)分词，去除非字母的数据、标点符号和停用词；

(4)词形还原；

(5)过滤词频小于10的单词。

4.根据权利要求1所述的方法，其特征在于，所述步骤S3包括：

子步骤S31：针对所述主题向量得到文档向量

所述

其中，p_jk表示主题k在文档j中所占的比例，k、j均为正整数，0≤p_jk≤1且∑_Kp_jk＝1；

子步骤S32：利用所述第一词向量和所述文档向量得到基于文档的第二词向量

所述

5.根据权利要求1所述的方法，其特征在于，在步骤S4中，所述lda2vec模型的损失函数包括：

L^d＝λ∑_jk(α-1)log p_jk(公式5)；

在公式3～5中，所述L表示lda2vec模型的损失函数，所述L^d表示狄利克雷Dirichlet分布似然下文档的权重损失函数，所述表示基于负采样的损失函数；

其中，n表示所述词语语料库的主题数目，λ表示Dirichlet优化的整体强度；

σ表示归一化指数softmax函数，所述Softmax函数的表达式为：

表示中心词向量，表示负采样词向量。

6.根据权利要求5所述的方法，其特征在于，所述λ为200，所述词语语料库的主题分布为：

当所述α＜1时，所述的主题分布倾向于稀疏；

当所述α≥1时，所述词语语料库的主题分布倾向于集中；

所述α为n^-1。

7.根据权利要求1所述的方法，其特征在于，在步骤S5中，所述主题连贯性指标的公式包括：

在公式6、7中，V表示描述所述词语语料库的主题的一组词项，所述词项包括多个主题词，ε是保证所述词语语料库的主题分布得分score为实数的平滑因子，v_i表示表示一组词项中的第i个词项，v_j表示表示一组词项中的第j个词项；

当所述主题词的得分越高，所述V的主题连贯性得分越高，所述词语语料库的主题可解释性越高。