[发明专利]基于循环神经网络的中文事件抽取方法

说明书

本发明公开了基于循环神经网络的中文事件抽取方法，本发明提出的中文事件抽取联合模型主要有三个阶段：1)词向量编码阶段；2)特征提取阶段；3)分类器训练阶段；本发明的循环神经网络的输入为经过bert模型编码的动态词向量，向量能充分获取单词语义信息，克服了对多义性文本表示的不足的缺点；将由bert模型编码的词向量输入到双向循环神经网络中进行特征提取，为了丰富文本的特征向量，对句子特征进行拼接处理；考虑到触发词和事件元素之间的关联，将经过特征提取的向量输入到CRF模型中进行训练分类；之后将经CRF分类器处理的事件检测和事件元素识别两个阶段的四个子任务结合到一个端到端的模型，达到对事件进行联合抽取的目的。

技术领域

本发明属于自然语言处理与信息抽取领域，提出了一种基于循环神经网络的中文事件抽取联合模型。该模型可用于针对新闻资讯、客服问答等海量中文文本数据的事件抽取任务，而且能够为事理图谱构建、关系抽取、信息检索、自动问答等任务提供基础服务。

背景技术

自动内容抽取(Automatic Content Extraction,ACE)国际评测会议将事件定义为：发生在某个特定时间点或时间段，某个特定地域范围内，由一个或者多个角色参与的一个或者多个动作组成的事情或者状态的改变^[1]。事件抽取任务的目标就是将现实世界中人们用自然语言表达出来的事件以结构化的形式表示出来。事件抽取任务分为事件检测和事件元素识别两个子任务，事件检测任务是指从文本中发现事件并且确定事件的类别，事件元素识别任务是指对特定类别事件中的元素进行识别并且确定元素的角色。事件抽取任务是自然语言处理 (NLP)领域中一项至关重要的任务，在信息检索、自动问答、自动摘要、推荐系统等方面均有广泛应用^[2]。近年来国内外学者已经针对事件抽取问题进行了一系列研究与探索，主要包括基于模式匹配、基于统计机器学习和基于深度学习的三种研究方法。

基于模式匹配的方法通常是指在一些模式的指导下对某类事件进行识别，利用模式匹配算法将待抽取的句子和提前制定好的模板进行匹配^[3],从而实现事件类型的识别，应用这类方法的系统有ExDisco^[4]、GenPAM^[5]等。但是该方法往往依赖具体语言、具体领域及文本格式。规则模板的编制过程费时费力且容易产生错误，往往需要富有经验的语言学家才能完成^[6]。且抽取的模式无法涵盖所有的事件类型，当从一种语料转移到另一种语料时，为保证不损失性能，需要花费很多精力进行模式提取，因此可移植性较差，性价比不高。

基于传统机器学习的方法通常是指判断句子中的每个词是否为最能描述某个事件发生的触发词，如果是，则将其归为正例，并用一个多元分类器对其进行分类，获得其所属的事件类别。Ahn^[7]、Grishman^[8]等、Hardy^[9]等、赵妍妍^[10]等提出的方法都属于传统机器学习的方法。虽然该方法在一定程度上减少了人工干预，但是在过程中引入了大量的反例，导致正反例严重不平衡。且多类分类器在语料规模较小的时候存在一定的数据稀疏问题。