[发明专利]一种时序海量网络新闻的热点事件快速检测方法

摘要

一种时序海量网络新闻的热点事件快速检测方法，包括：将网络新闻文本序列按时间间隔分为区块序列；对第一个区块的新闻文本按狄利克雷过程进行聚类，形成聚类簇集合；把前一区块聚类后的结果进行衰减、过滤，作为后续区块的先验分布，然后对后续区块按按狄利克雷过程进行聚类；对每个聚类簇按照报道量进行事件的热度排序；将排序值最高的T个聚类簇作为热点事件，选取每个聚类簇中tf-idf值最高的M个特征作为热点的关键词，对热点进行展示。本发明可以大大提高网络新闻聚类的效率；同时内存的占用不随数据量的增加而线性增加，适用于大规模文本数据分析。

主权项

1.一种时序海量网络新闻的热点事件快速检测方法，包括：A．使用带时间因子的狄利克雷过程对网络新闻文本在线聚类，包括如下三步：A1.将网络新闻文本序列按时间间隔分为区块序列，每个区块包含时间间隔内的多个新闻文本；A2.对第一个区块的新闻文本按狄利克雷过程进行聚类，形成聚类簇集合；A3.把前一区块聚类后的结果进行衰减、过滤，作为后续区块的先验分布，然后对后续区块按按狄利克雷过程进行聚类；B．对热点事件进行排序和展示，包括：B1.对每个聚类簇，计算此聚类簇在报道期间内平均时间段的报道量，然后按照报道量进行事件的热度排序；B2.将排序值最高的T个聚类簇作为热点事件，选取每个聚类簇中tf-idf值最高的M个特征作为热点的关键词，对热点进行展示，其中，T、M为用户自定义值；tf为某个词或短语term在一个文本Text中出现的频次，df为该词或短语在文本集合中的多少个文本中出现，Num为文本集合中的文本总数，对数log取10为底数。