[发明专利]一种基于改进的Single‑pass聚类算法的微博话题检测方法

摘要

本发明公开了一种基于改进的Single‑pass聚类算法的微博话题检测方法，包括微博文本内容采集，文本预处理，基于LDA建立文本向量模型，基于改进的Single‑pass聚类算法进行文本聚类，结果评测；改进的Single‑pass聚类算法包括增加时间参数、对类别数据计算聚类中心点和批量输入数据。本发明通过增加时间参数，保证话题的同一性；通过对类别数据计算聚类中心点，新数据与聚类中心点进行比较，这样有助于减少新数据与每条数据比较的次数，提高了计算的效率；通过对数据批量输入，即对数据先进行聚类然后再输入，新输入的聚类中心点和已聚类好的中心点进行比较，提高了运算效率，节省了运算空间。

主权项

一种基于改进的Single‑pass聚类算法的微博话题检测方法，其特征在于，包括：步骤1、微博文本内容采集；步骤2、文本预处理，所述文本预处理包括去除噪声干扰、去除少于10个字的微博内容、词干还原、文本分词和去除停用词；步骤3、基于LDA建立文本向量模型；步骤4、基于改进的Single‑pass聚类算法对文本向量模型进行文本聚类，包括：步骤41、向文本向量模型中增加文本的时间参数；步骤42、将文本数据分批聚类成小话题类别，计算每批数据中每个小话题类别的聚类中心点，将所有小话题类别聚类成大话题类别；所述聚类的方法为进行聚类中心点的相似度计算，判断其是否大于相似度阈值；若小于相似度阈值，则自成一类，若大于相似度阈值，则进行时间阈值判断；若大于时间阈值，则自成一类，若小于时间阈值，则将新数据归于该类；步骤5、结果评测。