[发明专利]一种面向社交网络的特定事件抽取方法

说明书

本发明公开了一种面向社交网络的特定事件抽取方法，一方面利用神经网络实现了文本的表示学习，提取适用于海量数据的泛化能力强的特征；另一方面采用有监督的学习方法，相较于无监督学习方法更具有针对性，可以提供语义清晰的事件表示，使用基于关键词的初滤算法滤除大量与事件无关的推文，提升算法速度；利用神经网络实现对于推文的事件分类，无需人工设计特征，算法泛化能力更强；构建从事件类型到事件实例的层次化分类，形成系统的事件体系；对事件实例簇进行信息抽取，即从描述同一事件的不同推文中综合提取事件的信息，更加全面。

技术领域

本发明属于自然语言处理领域，尤其涉及一种面向社交网络的特定事件抽取方法。

背景技术

社交网络作为一种新兴的网络应用吸引了世界各地的大量用户，用户可以通过社交网络发布分享文字、图片、音频、视频等信息，并关注其他人的动态。推特是近年来最活跃的社交平台之一，作为一个微博应用，推特允许用户将自己的动态编辑为少于140字符的短文本发布在网站上。由于推特具有大量的注册活跃用户以及快速的信息分享模式，突发事件或热点事件在推特上的传播速度和影响范围远远大于传统新闻媒体，因此针对社交网络的海量数据进行挖掘有利于尽早检测突发事件并抽取其中的重要信息。然而推文的内容与传统新闻媒体不同，通常包含大量的非正式用语、缩写、拼写错误、表情以及超链接等，这些特点使推文的处理和信息抽取更加困难，所以针对传统文本的处理方法并不适用于社交网络文本；

事件抽取分为事件检测和相关信息抽取两个子任务，它已经有一段较长的研究历史，最早从话题检测与跟踪研究项目中演化而来。早期的事件抽取主要关注新闻报道、网络博客、论坛文章等，致力于“从连续的新闻数据流中识别出新事件或未定义事件”。近年来，随着社交网络应用的迅速发展，基于社交网络的事件抽取成为了新兴的研究热点。

根据是否在事件抽取之前获取事件的信息可以将该任务分为开放域事件抽取和特定事件抽取，开放域事件抽取通常通过检测社交网络数据流中的尖突信号或利用非监督聚类方法实现。然而事件在未发酵前信号较微弱，无法在社交网络中形成尖突信号，因此第一种方法很难在事件发生早期检测到事件。现有基于非监督聚类的事件检测算法主要采用一种特征的聚类表示一个事件，这种表示方法可解释性不强，有些甚至是无意义的聚类，不能提供语义清晰的事件表示，且相似度阈值和聚类个数需要根据经验人为设置，对于最终的结果影响较大。特定事件抽取通常采用有监督的机器学习方法实现，它在抽取之前确定了感兴趣事件的范围，针对性更强。近年来，神经网络在自然语言处理的各个领域获得了令人瞩目的成就，一方面它克服了人工设计特征的局限性，另一方面它更适用于处理海量数据。因此本发明采用基于神经网络的有监督算法实现对于社交网络海量数据的事件抽取。

发明内容

本发明所要解决的技术问题是提供了一种基于神经网络的多层次事件抽取算法，一方面利用神经网络实现了文本的表示学习，提取适用于海量数据的泛化能力强的特征；另一方面采用有监督的学习方法，相较于无监督学习方法更具有针对性，可以提供语义清晰的事件表示。

本发明为解决上述技术问题采用以下技术方案

一种面向社交网络的特定事件抽取方法，其特征在于：具体包含如下步骤：

设已知事件类型的训练集T_train＝{t_{train_1},t_{train_2},…,t_{train_N}；y_{train_1},y_{train_2},…y_{train_N}}，其中t_{train_i}表示一条推文文本以及retweet、hashtag、用户等推文相关信息，y_{train_i}表示推文所属的事件类型且y_{train_i}∈{0,1,2,3}，时间段t内采集的推文测试集T_test＝{t_{test_1},t_{test_2},…,t_{test_N}}；