[发明专利]一种基于多头注意力机制的事件论元角色抽取方法

摘要

本发明公开了一种基于多头注意力机制的事件论元角色抽取方法。本发明实现步骤如下：步骤(1)数据集文本预处理，输出预处理好的文本和对应的标签；步骤(2)训练融合多头监督注意力机制的双向GRU网络；步骤(3)对文本进行语义依存分析，输出触发词与候选论元之间的语义依存路径；步骤(4)将预处理好的文本输入步骤(2)中网络训练后输出每个词的编码，融合步骤(3)中的语义依存路径输出<触发词编码，候选论元编码，语义依存路径>论元分类结构；步骤(5)将论元分类结构输入分类网络训练并进行分类。本发明利用融合多头监督注意力机制的神经网络方法对文本进行分析，对事件句中存在多个事件情形具有良好的论元角色抽取能力。

主权项

1.一种基于多头注意力机制的事件论元角色抽取方法，其特征在于包括如下步骤：步骤(1)数据集文本预处理，输出预处理好的文本和对应的标签；步骤(1)所述的预处理过程如下；1‑1.将数据集文本中的标注信息和文本内容分离；1‑2.将文本内容转换成词向量；1‑3.输出预处理好的文本和对应的标签；步骤(2)训练融合多头监督注意力机制的双向GRU网络；2‑1.特征提取，将步骤(1)中预处理好的文本和对应的标签输入双向GRU网络提取特征，输出每个词编码；2‑2.训练多头监督注意力机制，将注意力机制输出的注意力向量与步骤2‑1中的词编码做点乘运算输出最终融合注意力向量的词编码；步骤(3)对文本进行语义依存分析，输出触发词与候选论元之间的语义依存路径；步骤(4)将预处理好的文本输入步骤(2)中网络训练后输出每个词的编码，融合步骤(3)中的语义依存路径输出<触发词编码，候选论元编码，语义依存路径>论元分类结构；步骤(5)将论元分类结构输入分类网络训练并进行分类；所述的步骤1‑1具体为：将XML标注内容处理成每个单词对应的标注，具体操作为：原始XML标注文本通过字符偏移量标注了事件触发词的起始字符位置和偏移量；首先将事件文本通过分词工具进行分词，同时根据XML标注文本中的信息，将事件文本中的每一个词进行编码，即根据每个词是否是事件触发词分别进行1‑38编码，预定义38种事件类型；根据标注文件中的论元角色信息为文中每个实体论元制定对应的论元角色编码；步骤1‑2具体为：首先通过大量新闻类文本训练word2vec模型，使用训练好的word2vec模型，将步骤1‑1中的文本内容转化为词向量，交给后续网络。