[发明专利]基于BiLSTM结合多头注意力的中文重叠事件抽取系统

说明书

本发明涉及一种基于BiLSTM结合多头注意力的中文重叠事件抽取系统，属于自然语言处理领域，Bert编码器作为文本编码器，生成以标记上下文为条件的文本表示，并包含丰富的文本信息；事件类型检测解码器基于Bert文本分类模型，对事件进行分类；触发词提取解码器通过事件类型检测与触发词提取之间的条件依赖关系，根据获取到的事件类型提取出触发词；事件元素提取解码器采用多头注意力结合双向LSTM层对事件元素进行提取；损失权重调整模块结合多个损失函数，利用多个目标的同方差不确定性为每个任务动态分配权重。

技术领域

本发明属于自然语言处理领域，涉及一种基于BiLSTM结合多头注意力的中文重叠事件抽取系统。

背景技术

随着互联网技术的发展，大量信息以文本的形式存储在计算机里，如何挖掘有价值的信息，已成为信息抽取的核心问题。事件抽取是信息抽取领域的研究热点之一，核心任务是从无结构化的自然语言文本中抽取指定类型的信息，并以半结构化或结构化的形式进行表示。

目前主流的研究方法大多基于神经网络，通过网络提取特征。Chen等人提出基于动态多池化卷积神经网络的方法，根据触发词和事件元素使用动态多池化层提取信息；Zeng等人提出用双向LSTM和CRF抽取句子特征，用卷积神经网络抽取语义特征进行中文事件抽取；Chen等人提出利用知识库的远程监督方法，生成大规模标注数据，应用到金融领域；Liu等人提出联合多事件提取框架用于重叠事件抽取；Yang等人提出根据角色分离事件元素的方法解决角色重叠问题。

在现有技术中，存在以下问题：(1)对于应用场景复杂的中文金融事件元素提取，事件中含有较多未定义的公司名、专业词汇。由于提取的特征不足，存在识别召回率较低问题。(2)对于多任务联合学习模型，其底层网络参数是共享的，因此，模型的收敛往往容易偏向于损失权重占比较大的任务，导致错误传播问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于BiLSTM结合多头注意力的中文重叠事件抽取系统，采用多头自注意力融合双向LSTM进行事件元素的识别，可以更好地进行特征提取，获取更丰富的语义信息，解决多任务联合学习模型存在的提取特征不足导致事件元素识别召回率低的问题，本发明还根据损失占比为各任务设置损失权重，弱化下游任务对上游任务的影响，解决各个子任务损失占比相差较大导致错误传播的问题。

为达到上述目的，本发明提供如下技术方案：

一种基于BiLSTM结合多头注意力的中文重叠事件抽取系统，包括Bert编码器、事件类型检测解码器、触发词提取解码器、事件元素提取解码器和损失权重调整模块；

所述Bert编码器作为文本编码器，生成以标记上下文为条件的文本表示，并包含丰富的文本信息；

所述事件类型检测解码器基于Bert文本分类模型，对事件进行分类；

所述触发词提取解码器通过事件类型检测与触发词提取之间的条件依赖关系，根据获取到的事件类型提取出触发词；

所述事件元素提取解码器采用多头注意力结合双向LSTM层对事件元素进行提取；

所述损失权重调整模块结合多个损失函数，利用多个目标的同方差不确定性为每个任务动态分配权重。

进一步，所述事件类型检测解码器基于Bert文本分类模型，将最后一层输出的第一个token位置当作句子的表示，然后连接全连接层进行分类，具体包括以下步骤：

S11：首先初始化嵌入矩阵为类型嵌入，其中E表示事件类型集合，d为词向量维(d＝768)；

S12：通过相似性函数δ来度量候选类型c∈C和标记表示之间的相关性；

S13：通过测量具有相同相似度函数δ的自适应句子表征s_c、类型嵌入c的相似度来预测事件类型。