[发明专利]基于TF‑IDF特征的短文本聚类以及热点主题提取方法

摘要

本发明公开了一种基于TF‑IDF特征的短文本聚类以及热点主题提取方法,该方法包括以下步骤首先，对短文本样本进行中文分词，并筛选出高频词汇；接着，基于筛选出的高频词汇自动地对每一个短文本样本进行TF‑IDF特征提取和生成，建立整个样本特征向量空间模型；然后，运用SVD奇异值分解进行样本空间维度的约减；最后，结合余弦定理和k‑means方法对短文本样本进行聚类，并通过可视化的分析手段找出每一个类簇中潜在的热点主题。本发明能够很好的处理短文本的特征选择问题、样本控件维度约减问题以及聚类问题，与此同时本方法还借助可视化技术来对聚类结果进行可视化分析，最后进行热点主题的提取和分析。

主权项

一种基于TF‑IDF特征的短文本聚类以及热点主题提取方法,其特征在于，该方法包括以下步骤：首先，对短文本样本进行中文分词，并筛选出高频词汇；接着，基于筛选出的高频词汇自动地对每一个短文本样本进行TF‑IDF特征提取和生成，建立整个样本特征向量空间模型；然后，运用SVD奇异值分解进行样本空间维度的约减；最后，结合余弦定理和k‑means方法对短文本样本进行聚类，具体包括以下步骤：首先用户输入一个阈值，即类簇内所有样本间距离的平均值；采用k‑means方法先对样本空间进行粗粒的聚类，紧接着对每一个类簇进行判断，判断类簇内的样本间相互的平均余弦距离是否大于阈值，如果大于则会进一步进行分割聚类，反之对于这个类的进一步分割则会停止；得到了所有样本的一个分类结果；并通过可视化的分析手段找出每一个类簇中潜在的热点主题。