[发明专利]基于信息单元融合的新闻原子事件抽取方法

说明书

技术领域

本发明属于新闻原子事件抽取技术领域。具体涉及到一种基于信息单元融合的新闻原子事件抽取方法。

背景技术

随着计算机在各领域的广泛应用以及互联网的日益普及，海量文本信息的处理技术在各领域的作用日趋重要。如何从海量文本信息中提取出用户感兴趣的内容成为信息抽取领域研究热点。事件抽取隶属于信息抽取领域，主要研究如何把含有事件信息的非结构化文本以结构化的形式呈现出来。它涉及自然语言处理、数据挖掘、机器学习等多个学科的技术和方法，目前主要应用于自动问答、自动摘要、信息检索等领域。

事件抽取包括原子事件抽取和主题事件抽取。原子事件表示一个动作的发生或状态变化，一般由谓词驱动，包括参与该动作或状态的时间、地点、人物、工具和方法等其他论元。主题事件表示某一类核心事件或活动以及所有与之相关的其他事件或活动，可由多个原子事件组成。原子事件抽取的主要研究方法有模式匹配和机器学习两类。模式匹配方法在某一领域能够取得较好的抽取结果，但是可移植性较差。机器学习方法与领域无关，具有较好的可移植性，但是需要大规模的标准语料，现阶段的语料规模尚不能满足应用需求，且人工标注语料耗时耗力。

当前绝大多数研究方法都是基于短语信息或句子层级信息的方法，这依赖于对语料的深层句法分析。现有深层句法分析技术不仅执行效率过慢，而且对语料文本长度限制严格。此外，由于目前的研究大多是基于MUC评测会议展开或ACE评测会议展开，只针对某个特定领域或特定类型的事件进行研究，系统的应用领域具有一定的局限性。

发明内容

本发明旨在克服现有技术不足，目的是提供一种执行效率高和适用性强的基于信息单元融合的新闻原子事件抽取方法。

为实现上述目的，本发明所采用的技术方案包括以下步骤：

步骤一、对新闻语料的新闻正文进行除杂处理：

①、去掉小括号和方括号中的内容；

②、将英文双引号替换为中文双引号；

③、去掉“@”符号；

④、根据新闻正文结尾的记者信息模式和媒体信息模式过滤掉新闻正文结尾与事件抽取无关的信息。

得到除杂处理后的新闻正文。

本发明所述新闻语料是指新闻标题和新闻正文。

步骤二、利用Stanford Word Segmenter软件对新闻标题和除杂处理后的新闻正文进行中文分词，得到新闻标题的中文分词结果和新闻正文的中文分词结果。

步骤三、利用Stanford Named Entity Recognizer软件对新闻正文的中文分词结果和新闻标题的中文分词结果进行命名实体识别，得到新闻正文的命名实体识别结果和新闻标题的命名实体识别结果。

步骤四、利用Stanford POS Tagger软件对新闻正文的中文分词结果和新闻标题的中文分词结果进行词性标注，得到新闻正文的词性标注结果和新闻标题的词性标注结果。

步骤五、根据待过滤动词词表对新闻正文的词性标注结果和新闻标题的词性标注结果进行动词过滤，得到动词过滤后的新闻正文的词性标注结果和动词过滤后的新闻标题的词性标注结果。

步骤六、根据初步融合规则库对所述动词过滤后的新闻正文的词性标注结果和所述新闻正文的命名实体识别结果进行初步融合，得到新闻正文的初步融合结果；根据初步融合规则库对所述动词过滤后的新闻标题的词性标注结果和所述新闻标题的命名实体识别结果进行初步融合，得到新闻标题的初步融合结果。

步骤七、根据信息单元融合规则库对新闻正文的初步融合结果和新闻标题的初步融合结果进行信息单元融合，得到新闻正文的信息单元融合结果和新闻标题的信息单元融合结果。

步骤八、根据核心词表和事件抽取规则库对新闻正文的信息单元融合结果进行原子事件抽取，得到新闻正文的原子事件抽取结果。

所述新闻正文结尾的记者信息模式和媒体信息模式是通过对所收集的新闻正文结尾的记者信息和媒体信息进行模式聚类得出的信息模式。

所述待过滤动词词表是由对选取事件谓词影响较大和在新闻正文中出现频率较高的趋向动词、意向动词、言说动词和致使动词构成的动词词表。

所述初步融合规则库是由命名实体标签的选择规则、书名号所标志成分的识别规则、时间信息单元的识别规则、连续相同标签的合并规则和“PU”标签的省略规则所构成的规则库。

所述信息单元融合规则库是由介词单元融合规则、名词单元融合规则、状语单元融合规则、命名实体单元融合规则和修饰语单元融合规则所构成的规则库。