[发明专利]基于触发词语态学习的金融文本事件抽取方法

权利要求书

1.基于触发词语态学习的金融文本事件抽取方法，其特征在于：包括三个步骤：金融领域文本预训练、事件分类和基于触发词语态学习的金融文本事件要素抽取；

所述金融领域文本预训练步骤的实现方式为，首先进行金融领域标注数据集自动构建，之后结合金融知识图谱构建BERT预训练模型，以输入词序列作为模型输入，得到有对应实体的输出词作为输出结果，最后在金融文本训练集和金融知识图谱数据上进行再训练，得到适合下游事件分类和事件抽取的词表征和实体表征；

所述事件分类步骤根据所述金融领域文本预训练步骤生成的词表征做多标签多分类任务得到事件检测结果；

所述基于触发词语态学习的金融文本事件要素抽取步骤将每一个输入词对应的词表征作为多标签分类任务的表征向量进行计算，其中元素值超过设定阈值即打上对应要素的标签。

2.如权利要求1所述的基于触发词语态学习的金融文本事件抽取方法，其特征在于：所述标注数据集自动构建的方法为：将现有非结构化金融新闻文本与结构化金融事件知识库进行对齐操作获得标注数据。

3.如权利要求2所述的基于触发词语态学习的金融文本事件抽取方法，其特征在于：所述BERT预训练模型由文本表征层和知识融合层构成，所述文本表征层采用BERT模型对输入词序列进行表征，通过多层的双向Transformer编码器来实现对于语义特征的提取并将得到的词序列输入所述知识融合层；所述知识融合层首先通过知识嵌入算法TransE得到结构化的知识编码实体序列，具体地，以{w₁,…,w_n}表示词序列的embedding，{e₁,…,e_m}表示TransE得到的所述实体序列的embedding，两个序列各自通过多头注意力机制：

然后将上述得到的两个序列词表征和实体表征输入到信息融合模块计算：

对于有对应实体的词:

对于没有对应实体的词:

其中Wt代表隐藏层的权重，δ表示非线性激活函数。

4.如权利要求3所述的基于触发词语态学习的金融文本事件抽取方法，其特征在于：所述事件分类步骤根据预定义的事件分类标准，定义层级事件分类标签。

5.如权利要求4所述的基于触发词语态学习的金融文本事件抽取方法，其特征在于：所述每一个输入词对应的词表征作为多标签分类任务的表征向量进行计算的方法为：