[发明专利]一种基于改进的Single‑pass聚类算法的微博话题检测方法

权利要求书

1.一种基于改进的Single-pass聚类算法的微博话题检测方法，其特征在于，包括：

步骤1、微博文本内容采集；

步骤2、文本预处理，所述文本预处理包括去除噪声干扰、去除少于10个字的微博内容、词干还原、文本分词和去除停用词；

步骤3、基于LDA建立文本向量模型；

步骤4、基于改进的Single-pass聚类算法对文本向量模型进行文本聚类，包括：

步骤41、向文本向量模型中增加文本的时间参数；

步骤42、将文本数据分批聚类成小话题类别，计算每批数据中每个小话题类别的聚类中心点，将所有小话题类别聚类成大话题类别；

所述聚类的方法为进行聚类中心点的相似度计算，判断其是否大于相似度阈值；若小于相似度阈值，则自成一类，若大于相似度阈值，则进行时间阈值判断；若大于时间阈值，则自成一类，若小于时间阈值，则将新数据归于该类；

步骤5、结果评测。

2.如权利要求1所述的基于改进的Single-pass聚类算法的微博话题检测方法，其特征在于，在步骤1中，微博文本内容采集包括：

通过爬虫技术访问微博网站页面爬取微博信息和来自于自然语言处理与信息检索共享平台发布的NLPIR微博内容语料库。

3.如权利要求1所述的基于改进的Single-pass聚类算法的微博话题检测方法，其特征在于，相似度计算采用余弦相似度算法。

4.如权利要求1所述的基于改进的Single-pass聚类算法的微博话题检测方法，其特征在于，在步骤43中，时间阈值为2天。