[发明专利]一种文本聚类方法及系统

权利要求书

1.一种文本聚类方法，其特征在于，包括：

S100：数据获取

基于选取的关键词在选取的爬取网站上爬取相关数据文档；

S200：数据清洗

对爬取的文档进行去重处理，去掉标题相同或者内容相同的文档，以及将剩余的文档按照文档篇幅进行筛选，去掉小于最小字数阈值和大于最大字数阈值以及与指定主题内容不相关的文档；

S300：向量特征提取

对数据清洗后的所有文档进行分词处理并在每篇文档中提取K个词汇作为文本聚类的向量特征；

S400：词条矩阵建立

基于提取的向量特征，对所有文档建立词条矩阵；

S500：文本聚类

利用预设的聚类方法对文档进行聚类；

S600：聚类结果分析

将聚类后的每一类的文档打散重新计算词频，提取每类词频数最高的N个词生成预定表格，以确定每类文档的主题。

2.根据权利要求1所述的文本聚类方法，其特征在于，所述最小字数阈值为50个字，所述最大字数阈值为5000个字，所述K个词汇为约1000个词汇，所述N个词约为20个词。

3.根据权利要求2所述的文本聚类方法，其特征在于，利用词频统计方法来提取所述向量特征。

4.根据权利要求3所述的文本聚类方法，其特征在于，利用词频统计方法来提取所述向量特征包括：统计经分词处理后的每篇文档的词频，并将词频统计量按照从大到小的顺序进行排序，对排序靠前的高频词汇进行人工筛选，保留与指定主题有关的词汇，选取出频率最高的1000个词汇作为文本聚类的向量特征。

5.根据权利要求2所述的文本聚类方法，其特征在于，利用TF-IDF方法来提取所述向量特征。

6.根据权利要求5所述的文本聚类方法，其特征在于，利用TF-IDF方法来提取所述向量特征包括：根据下述公式确定经分词处理后的每篇文档中的每个词的ti-idf值然后选取ti-idf值排序靠前的1000个词汇作为所述向量特征：

tfidf=nijΣj=1knij×logNmj]]>

其中，i表示第i条文本，j表示该文本中的第j个词汇，n表示该词在该文本中出现的次数，k表示该文本中一共有k个特征词汇，N表示语料库中的文本总数，m表示包含词语的文本数目。

7.根据权利要求1所述的文本聚类方法，其特征在于，在R语言环境下，使用jiebaR包对数据清洗后的所有文档进行分词，以及使用R语言的tm包对所有文档建立词条文档矩阵。

8.根据权利要求1所述的文本聚类方法，其特征在于，利用K-Means聚类法来对文档进行聚类。

9.根据权利要求1所述的文本聚类方法，其特征在于，使用python或java语言编写的爬虫程序在所述爬取网站上来爬取所述数据文档，并将爬取结果进行保存。