[发明专利]一种文本聚类方法及系统

说明书

技术领域

本发明涉及一种文本聚类方法及系统，具体涉及一种能够准确的确定指定主题的核心关键词的文本聚类方法及系统。

背景技术

现实生活中，经常需要对与某一核心主题相关的关键词进行确定，以获得更多的关于该主题的信息，从而避免对核心主题的理解偏差和遗漏。而目前确定与核心主题相关的关键词的方式是依靠经验来进行确定，而这种方式存在主观判断成分，会导致所确定的关键词对核心主题理解的不准确。

由于Internet在全球范围内快速发展，信息技术日新月异，人们使用的各种的数据正在以爆炸性速度不断增长。大量的数据存储在数据库中，可以应用于政府办公、商业智能、科学研究和项目开发等。因此，可以通过对海量数据进行数据挖掘来确定与核心主题相关的关键词。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

针对上述技术问题，本发明提供一种文本聚类方法及系统，该方法通过对获取的大数据进行挖掘聚类，从而确定与核心主题相关的关键词，能够减少主观判断成分，增强对核心主题理解的准确性。

本发明采用的技术方案为：

本发明的一实施例提供一种文本聚类方法，包括：

S100：数据获取

基于选取的关键词在选取的爬取网站上爬取相关数据文档；

S200：数据清洗

对爬取的文档进行去重处理，去掉标题相同或者内容相同的文档，以及将剩余的文档按照文档篇幅进行筛选，去掉小于最小字数阈值和大于最大字数阈值以及与指定主题内容不相关的文档；

S300：向量特征提取

对数据清洗后的所有文档进行分词处理并在每篇文档中提取K个词汇作为文本聚类的向量特征；

S400：词条矩阵建立

基于提取的向量特征，对所有文档建立词条矩阵；

S500：文本聚类

利用预设的聚类方法对文档进行聚类；

S600：聚类结果分析

将聚类后的每一类的文档打散重新计算词频，提取每类词频数最高的N个词生成预定表格，以确定每类文档的主题。

可选地，所述最小字数阈值为50个字，所述最大字数阈值为5000个字，所述K个词汇为约1000个词汇，所述N个词约为20个词。

可选地，利用词频统计方法来提取所述向量特征。

可选地，利用词频统计方法来提取所述向量特征包括：统计经分词处理后的每篇文档的词频，并将词频统计量按照从大到小的顺序进行排序，对排序靠前的高频词汇进行人工筛选，保留与指定主题有关的词汇，选取出频率最高的1000个词汇作为文本聚类的向量特征。

可选地，利用TF-IDF方法来提取所述向量特征。

可选地，利用TF-IDF方法来提取所述向量特征包括：根据下述公式确定经分词处理后的每篇文档中的每个词的ti-idf值，然后选取ti-idf值排序靠前的1000个词汇作为所述向量特征：

其中，i表示第i条文本，j表示该文本中的第j个词汇，n表示该词在该文本中出现的次数，k表示该文本中一共有k个特征词汇，N表示语料库中的文本总数，m表示包含词语的文本数目。

可选地，在R语言环境下，使用jiebaR包对数据清洗后的所有文档进行分词，以及使用R语言的tm包对所有文档建立词条文档矩阵。

可选地，利用K-Means聚类法来对文档进行聚类。

可选地，使用python或java语言编写的爬虫程序在所述爬取网站上来爬取所述数据文档，并将爬取结果进行保存。

本发明的另一实施例提供一种文本聚类系统，包括：

数据获取模块，基于选取的关键词在与选取的爬取网站上爬取数据文档；

数据清洗模块，对爬取的文档进行去重处理，去掉标题相同或者内容相同的文档，以及将剩余的文档按照文档篇幅进行筛选，去掉小于最小字数阈值和大于最大字数阈值以及与指定主题内容不相关的文档；

向量特征提取模块，对数据清洗后的所有文档进行分词并在每篇文档中提取K个词汇作为文本聚类的向量特征；

词条矩阵建立模块，基于提取的向量特征，对所有文档建立词条矩阵；

文本聚类模块，利用预设的聚类方法对文档进行聚类；