[发明专利]一种基于大数据的突发事件演化分析方法

摘要

本发明提出了一种基于大数据的突发事件演化分析方法，包括：步骤S100，数据采集，基于分布式云计算方式对网络数据进行数据采集；步骤S200，数据预处理；步骤S300，事件抽取；步骤S400，事件情感分析；步骤S500，热点事件抽取；步骤S600，突发事件抽取；步骤S700，突发事件演化分析。本发明采用分布式的云计算方式，能够对大规模采集的各种网络数据进行挖掘、分析。

主权项

1.一种基于大数据的突发事件演化分析方法，包括：步骤S100，数据采集，基于分布式云计算方式对网络数据进行数据采集，所述数据采集是由网络爬虫来实现的；通过分布式存储设备存储采集的网络数据，所述分布式存储设备基于HDFS实现；步骤S200，数据预处理，对步骤S100采集的网络数据进行预处理；步骤S300，事件抽取，基于预处理后的网络数据，从中抽取出事件；步骤S500，热点事件抽取，从步骤S300中抽取的事件中再次抽取出热点事件；步骤S600，突发事件抽取，对于步骤S500得到的每一热点事件，确定事件所包含的文档数量是否大于给定阈值，如果大于给定阈值，则将所述事件确定为突发事件；其中，步骤S200包括：对步骤S100采集的网络数据进行预处理，首先对采集的网络数据进行分词和词性标注处理；然后,根据停用词列表,对分词后的结果进行停用词过滤；最后得到用于表示文档的特征项；其中，步骤S200进一步包括：高质量词汇提取，步骤S200所得到的每一个特征项都隐含一个质量值，其反应特征项在文档中的贡献度，特征项t的质量Q(t)表示为：其中，N表示所有文档的数量，fi表示文档特征项t在文档i中出现的次数，lt表示特征项t的长度，设定阈值Q,对于Q(t)>Q的特征项予以保留，否则删除；其中，步骤S300包括：对步骤S200预处理得到的文档进行文档聚类，将每天新来到的报道作一次局部聚类,从而得出每天的局部事件,称之为候选事件集合；归并聚类，将局部聚类之后产生的候选事件集合和以往的旧事件集合进行归并,产生最新的事件集合；其中，所述局部聚类包括：(1)首先对已经经过预处理的所有报道使用标准的图的表示模型进行文本表示；(2)按时间顺序对报道进行排序；(3)取第一篇报道,作为第一个事件；(4)对剩余的报道,依次与现有的事件做相似度计算,所述相似度计算采用基于最大公共子图的相似函数进行，得到与它最相似的事件以及相应的函数值；(5)如果函数值大于阈值的话,则插入到该函数值所对应的事件中；并且更新该事件的中心；(6)如果函数值小于阈值的话,则该报道作为一个新的事件,且它本身就是该事件的中心；(7)重复(4)～(6)直接所有报道都处理完毕；(8)将结果保留下来,以便后面进行再次聚类；其中，所述归并聚类包括：输入:旧事件的集合OldTopicSet,新报道的集合NewReportSet，输出:聚类后的事件集合TopicSet(1)首先,对NewReportSet中的报道进行局部聚类,聚类后的结果放于NewTopicSet中；(2)按事件起始时间,对事件集NewTopicSet进行排序；(3)对事件集NewTopicSet中的所有事件,依次与OldTopicSet中的所有事件进行相似度计算,所述相似度计算采用基于最大公共子图的相似函数进行，得到与它最相似的事件和相应的函数值；(4)如果函数值小于阈值的话,则将NewTopicSet中的事件作为一个新事件；(5)如果函数值大于阈值的话,则将该事件从NewTopicSet中移除,加入到OldTopicSet中去；(6)重复(3)～(5)直到NewTopicSet中所有事件都处理完毕；(7)将聚类结果保留下来,供下一周期的聚类调用。