[发明专利]一种过滤垃圾用户和抽取短文本话题的方法

说明书

本发明提供一种过滤垃圾用户和抽取短文本话题的方法，该方法对原始数据进行垃圾用户过滤处理，很大程度上避免了检测出来的突发性话题为没有实际意义话题这个问题；采用BTM(Biterm Topic Model)主题模型进行话题抽取，模型清晰易懂，并且抽取话题的效率高效。

技术领域

本发明涉及文本处理算法领域，更具体地，涉及一种过滤垃圾用户和抽取短文本话题的方法。

背景技术

突发性话题检测是近年来网络信息处理和自然语言处理领域的一个热门研究方向，突发性话题又被称之为新兴话题或趋势话题，泛指一类即将爆发或广为流传的话题，通常将伴随有重大新闻热点事件发生。而且，微博社交网络平台属于开放型平台，其上信息传播速度快，传播范围广，突发性话题可能会产生重大社会影响。因此，以微博文本作为研究对象，在数据中的话题或事件演变为热点事件以前或演变早期将其检测出来具有非常重要的理论价值和现实意义。对于个人而言，可以帮助用户对信息进行过滤，减少用户从海量杂乱无章的数据进行信息搜索与整理所耗时间和精力，并帮助用户了解当前被广泛和讨论的热点话题。目前现有的话题检测的方法有很多，大致可以分为两大类：基于文本聚类的话题检测方法和基于主题模型的话题检测方法。在基于文本聚类的方法中，先将文本预处理为某种表示形式，然后采用聚类算法对文本进行聚类，形成多个聚类簇，每个聚类簇就表示为一个独立的话题。而在基于主题模型的方法中，一般是对文本中隐藏的话题进行建模，最常用的建模方法是LDA(Latent Dirichlet Allocation)。LDA等主题模型具有非常清晰严谨的概率表示形式，在主题模型当中，话题被看做词汇集合上的概率分布，话题检测则是一个从词汇集合中进行概率推断的问题。现有的一种有效的突发话题检测的方法是一种基于Sketch的话题模型以及基于哈希的降维方法实时检测推文流中的突发话题。

由于微博数据中存在一些用户在短时间内发布大量相似微博，这些用户被称为垃圾用户，从而造成模型所检测出来的话题都是一些没有意义的垃圾话题；模型中提取话题的方法是基于SVD(Singular Value Decomposition,奇异值分解)的LSA(Latent SemanticAnalysis,潜在语义分析)方法来提取相关突发性话题，但是这种方法缺乏严谨的数理统计基础，且SVD分解特别耗时。

发明内容

本发明提供一种过滤垃圾用户和抽取短文本话题的方法，该方法利用计算微博数据中词对的突发性过滤一般话题而只保留突发性话题，再使用主题模型抽取对应的突发性话题，最后输出微博数据流上的突发性话题。

为了达到上述技术效果，本发明的技术方案如下：

一种过滤垃圾用户和抽取短文本话题的方法，包括以下步骤：

S1：对微博数据流进行垃圾用户过滤处理，过滤掉在短时间内发布大量相似微博的用户及其所发微博数据；

S2：在进行过步骤S1处理后的数据上，计算某个时间窗口内微博数据词对的突发性数值；

S3：用步骤S2所计算的突发性数值跟所设阈值进行比较；若大于所设阈值，则进入步骤S4，若小于所设阈值，则进入下一个时间窗口，进入步骤S2；

S4：使用BTM模型对该时间窗口内的微博数据进行主题抽取并输出突发性主题。

进一步地，所述步骤S1的具体过程是：

S11：输入原始微博数据流，对每条微博W进行分词、去除停用词处理后，得到对应微博的词袋模型{w₁,w₂,…,w_m}；

S12：对于某个时间窗口内，统计每个用户所发相似微博数量；

S13：若该时间窗口内，某用户所发相似微博数量超过所设阈值，则将此用户和所发微博剔除出去。然后选择下一个时间窗口，重复步骤S12，直至数据处理完毕。