[发明专利]一种基于多头注意力机制的事件论元角色抽取方法

说明书

本发明公开了一种基于多头注意力机制的事件论元角色抽取方法。本发明实现步骤如下：步骤(1)数据集文本预处理，输出预处理好的文本和对应的标签；步骤(2)训练融合多头监督注意力机制的双向GRU网络；步骤(3)对文本进行语义依存分析，输出触发词与候选论元之间的语义依存路径；步骤(4)将预处理好的文本输入步骤(2)中网络训练后输出每个词的编码，融合步骤(3)中的语义依存路径输出<触发词编码，候选论元编码，语义依存路径>论元分类结构；步骤(5)将论元分类结构输入分类网络训练并进行分类。本发明利用融合多头监督注意力机制的神经网络方法对文本进行分析，对事件句中存在多个事件情形具有良好的论元角色抽取能力。

技术领域

本发明属于自然语言处理技术领域，涉及事件论元角色分类相关方法，提供一种基于多头注意力机制的事件论元角色抽取方法。具体用于非结构化文本中提取出事件相关论元，并确定论元在事件中的的角色。

背景技术

事件论元角色抽取是从非结构化信息中抽取出事件相关的信息元素，并以结构化形式完善事件。当前主要研究方法有模式匹配和机器学习两大类。模式匹配在特定领域能取得较高的性能，但移植性较差。相对于模式匹配，机器学习与领域无关，无需太多领域专家的指导，系统移植性较好。随着相关语料库的建设和互联网上各种文本资源的不断丰富，语料的获取不再是束缚机器学习的瓶颈。目前，机器学习已成为事件论元角色抽取的主流研究方法。

发明内容

本发明针对事件论元角色抽取中句子存在多个事件时论元角色抽取存在误差的问题，公开一种基于多头注意力机制的事件论元角色抽取方法。

为实现以上技术目的，本发明将采取以下的技术方案：

步骤(1)数据集文本预处理，输出预处理好的文本和对应的标签；

步骤(2)训练融合多头监督注意力机制的双向GRU网络；

步骤(3)对文本进行语义依存分析，输出触发词与候选论元之间的语义依存路径；

步骤(4)将预处理好的文本输入步骤(2)中网络训练后输出每个词的编码，融合步骤(3)中的语义依存路径输出<触发词编码，候选论元编码，语义依存路径>论元分类结构；

步骤(5)将论元分类结构输入分类网络训练并进行分类；

步骤(1)所述的预处理过程如下；

1-1.将数据集文本中的标注信息和文本内容分离；

1-2.将文本内容转换成词向量；

1-3.输出预处理好的文本和对应的标签；

进一步的，步骤1-1具体为：

将XML标注内容处理成每个单词对应的标注，具体操作为：原始XML标注文本通过字符偏移量标注了事件触发词的起始字符位置和偏移量。首先将事件文本通过分词工具进行分词，同时根据XML标注文本中的信息，将事件文本中的每一个词进行编码，即根据每个词是否是事件触发词分别进行1-38编码(预定义了38种事件类型)，根据标注文件中的论元角色信息为文中每个实体论元制定对应的论元角色编码。

步骤1-2具体为：

首先通过大量新闻类文本训练word2vec模型，使用训练好的word2vec模型，将步骤1-1中的文本内容转化为词向量，交给后续网络。

步骤(2)中所述的训练融合多头监督注意力机制的双向GRU网络，具体实现如下：

2-1.特征提取，将步骤(1)中预处理好的文本和对应的标签输入双向GRU网络提取特征，输出每个词编码；

2-2.训练多头监督注意力机制，将注意力机制输出的注意力向量与步骤2-1中的词编码做点乘运算输出最终融合注意力向量的词编码；