[发明专利]一种基于大数据的突发事件演化分析方法

说明书

本发明提出了一种基于大数据的突发事件演化分析方法，包括：步骤S100，数据采集，基于分布式云计算方式对网络数据进行数据采集；步骤S200，数据预处理；步骤S300，事件抽取；步骤S400，事件情感分析；步骤S500，热点事件抽取；步骤S600，突发事件抽取；步骤S700，突发事件演化分析。本发明采用分布式的云计算方式，能够对大规模采集的各种网络数据进行挖掘、分析。

技术领域

本发明涉及数据处理领域，具体涉及一种基于大数据的突发事件演化分析方法。

背景技术

随着Web2.0技术的发展，互联网发生翻天覆地的变化。互联网由静态网页和信息，转变成为人人参与的“群体智慧”的展示平台。通过博客、微博、BBS、SNS、新闻评论等，网民可以自由发布自己的观点想法和对任何事件进行评论。网络给人们提供了前所未有的开放、便捷的信息共享与发布平台，越来越多的人通过网络来表达自己的意见、想法、情绪和态度，其中既包括对对事件的发展有着正面、积极作用的信息，也包括一些负面、消极的信息。同时，网络平台的开放性、直接性和隐蔽性使得网络舆论越来越重要地影响人们的意识形态。因此，对大量舆情信息的及时有效监控分析，对维护社会稳定、促进国家发展具有重要的现实意义。

在日常生活中，突发事件频繁发生，用户越来越习惯于利用社交网络(例如博客、论坛、twitter，Facebook等)来发表自己的观点和情感。然而，用户对事件的情感并非保持一成不变，而是随着时间的变化或者事件的发展而不断演化，逐渐变强或者变弱，甚至从一种情感转化到另一种情感。如何实时在线检测用户对突发事件的情感演化过程具有十分重要的意义。对于企业而言，可以通过对消费者购买产品后情感的持续跟进，及时发现产品的缺点及不足。对于社会和政府工作者而言，通过分析用户对事件的情感变化情况，可对突发事件及时做出回应，甚至预测事件的发展趋势，从而快速发现不良苗头，并进行合理引导，将不良信息的影响程度降低到最小。

此外，随着移动互联网、物联网等应用的飞速发展，全球数据量出现了爆炸式增长。数据量的飞速增长预示着现在已经进入了大数据时代。现有技术中对大数据的处理采用基于Hadoop的平台。Hadoop是一个开源分布式计算平台，其核心包括HDFS(HadoopDistributed Files System，Hadoop分布式文件系统)。HDFS的众多优点(主要包括高容错性、高伸缩性等)允许用户将Hadoop部署在低廉的硬件上，搭建分布式集群，构成分布式系统。HBase(Hadoop DataBase，Hadoop数据库)是建立在分布式文件系统HDFS之上的提供高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统，主要用来存储非结构化和半结构化的松散数据。

发明内容

为解决现有技术中存在的问题，本发明提出一种基于大数据的突发事件演化分析方法。

本发明提出的一种基于大数据的突发事件演化分析方法，包括：

步骤S100，数据采集，基于分布式云计算方式对网络数据进行数据采集，所述数据采集是由网络爬虫来实现的；通过分布式存储设备存储采集的网络数据，所述分布式存储设备基于HDFS实现；

步骤S200，数据预处理，对步骤S100采集的网络数据进行预处理；

步骤S300，事件抽取，基于预处理后的网络数据，从中抽取出事件；

步骤S500，热点事件抽取，从步骤S300中抽取的事件中再次抽取出热点事件；

步骤S600，突发事件抽取，对于步骤S500得到的每一热点事件，确定事件所包含的文档数量是否大于给定阈值，如果大于给定阈值，则将所述事件确定为突发事件。

其中，步骤S300包括：

对步骤S200预处理得到的文档进行文档聚类，将每天新来到的报道作一次局部聚类,从而得出每天的局部事件,称之为候选事件集合；