[发明专利]基于触发词语态学习的金融文本事件抽取方法

说明书

本发明通过神经网络领域的方法，实现了基于触发词语态学习的金融文本事件抽取方法。方法包括三个步骤：金融领域文本预训练、事件分类和基于触发词语态学习的金融文本事件要素抽取；金融领域文本预训练步骤的实现结合金融知识图谱构建BERT预训练模型，以输入词序列作为模型输入，结合神经网络方法，在已有的金融文本训练集和金融知识图谱数据上进行再训练，得到适合下游事件分类和事件抽取的词表征和实体表征，而后通过词表征做多标签多分类任务得到事件检测结果，最后每一个输入词对应的词表征作为多标签分类任务的表征向量进行计算得到输出结果，从而形成一个能够自动精准抽取金融文本事件的方法。

技术领域

本发明涉及神经网络领域，尤其涉及基于触发词语态学习的金融文本事件抽取方法。

背景技术

在当今信息爆炸的时代，快速高效的从大量的文本中捕获事件并挖掘事件的关键信息是亟需解决的一个重要难题。因此，事件抽取任务应运而生。然而对于事件抽取任务，由于数据标注难度大，领域数据更难标注，且需要特定领域的从业者来标注。因此，这给领域事件抽取任务增加难度。目前针对金融领域事件抽取的研究相对较少，很少有考虑触发词和事件要素的语态关系，对于金融领域大量的领域词汇，增加理解文本语态的难度。

金融领域事件抽取近年来受到广泛关注，主要包括事件检测、事件分类、事件论元识别与论元角色分类四个任务。金融领域事件抽取技术帮助金融领域从业人员直观获取事件重要信息，一般来说金融领域事件抽取包含的事件要素有机构、个人、触发词、事件和地点等内容，通过结构化展示这些要素辅助人们高效的完成工作。目前没有一套基于触发词语态学习的金融文本事件抽取方法与装置实现针对金融领域事件要素抽取的方法。而从基于学习触发词与事件要素的语态关系来提升事件要素抽取是提升具有大量专业术语少量标注数据的金融文本事件抽取技术的有效手段。

发明内容

为此，本发明首先提出基于触发词语态学习的金融文本事件抽取方法，包括三个步骤：金融领域文本预训练、事件分类和基于触发词语态学习的金融文本事件要素抽取；

所述金融领域文本预训练步骤的实现方式为，首先进行金融领域标注数据集自动构建，之后结合金融知识图谱构建BERT预训练模型，以输入词序列作为模型输入，得到有对应实体的输出词和没有对应实体的输出词作为输出结果，token input为单词表征，entityinput为由TransE得到的实体表征，最后在用远程监督得到的金融文本训练集和开源金融知识图谱数据上进行再训练，得到适合下游事件分类和事件抽取的词表征和实体表征；

所述事件分类步骤根据所述金融领域文本预训练步骤生成的词表征做多标签多分类任务得到事件检测结果；

所述基于触发词语态学习的金融文本事件要素抽取步骤将每一个输入词对应的词表征作为多标签分类任务的表征向量进行计算，其中元素值超过设定阈值即打上对应要素的标签，若对应分量值大于阈值，即该词触发对应的事件类型。

所述标注数据集自动构建的方法为：将现有非结构化金融新闻文本与结构化金融事件知识库进行对齐操作获得标注数据，并通过扩大匹配空间，时间调整等优化技巧提高标注的数据集质量。

所述BERT预训练模型由文本表征层和知识融合层构成，所述文本表征层采用Bert模型对输入词序列进行表征，通过多层的双向Transformer编码器来实现对于语义特征的提取并将得到的词序列输入所述知识融合层；所述知识融合层首先通过知识嵌入算法TransE得到结构化的知识编码实体序列，具体地，以{w₁,…,w_n}表示词序列的embedding，{e₁,…,e_m}表示TransE得到的所述实体序列的embedding，两个序列各自通过多头注意力机制：

然后将上述得到的两个序列词表征和实体表征输入到信息融合模块计算：

对于有对应实体的词: