[发明专利]一种基于一致性聚类的Web文本分类方法

权利要求书

1.一种基于一致性聚类的Web文本分类方法，其特征在于，包括以下步骤：

步骤一，输入一段文字信息数据，其中包括n个文本；

步骤二，根据含有m个词汇的预设词库，对n个文本进行分词处理；

步骤三，根据每个文本中的分词在词库中出现的次数，制作每个文本的m维向量空间模型，n个文本组合在一起形成n×m的向量空间矩阵；

步骤四，在n×m的向量空间矩阵中随机提取n×m′的子矩阵，其中m′小于m，对n×m′子矩阵进行聚类分析；

步骤五，重复步骤四r次，直到得到r个聚类分析结果；

步骤六，将r个聚类分析结果再进行聚类分析，得到最终聚类结果，这个最终聚类结果表征n个文本之间的归类关系，由此将n个文本分类。

2.如权利要求1所述的基于一致性聚类的Web文本分类方法，其特征在于，所述步骤一中的文字信息数据来源于在互联网上抓取一预设时间段内的文字信息数据。

3.如权利要求2所述的基于一致性聚类的Web文本分类方法，其特征在于，所述在互联网上抓取一预设时间段内的文字信息数据包括抓取特定网站、论坛、博客或微博中的Web文本数据。

4.如权利要求3所述的基于一致性聚类的Web文本分类方法，其特征在于，在权利要求1所述步骤二中，对每个文本进行分词处理都包括以下步骤：

1)去掉Web文本的所有格式标签；

2)去掉无标签文本中的停止词；

3)根据预设词库中的词汇，按照文本文字从前到后的顺序，对文本中的文字进行分词拆分。

5.如权利要求4所述的基于一致性聚类的Web文本分类方法，其特征在于，所述步骤三中的m维向量空间模型为将一个文本中的分词与m个词汇进行比较，如果m个词汇中的一个词汇在该文本中出现a次，则在该词汇下记录a，如果m个词汇中的一个词汇在该文本中没有出现，则在该词汇下记录0，最后再根据预设词库中m个词汇的排列次序对记录值进行排序，由此得到所述m维向量空间模型。

6.如权利要求5所述的基于一致性聚类的Web文本分类方法，其特征在于，所述步骤四中的m′为m的十分之一。

7.如权利要求1或6所述的基于一致性聚类的Web文本分类方法，其特征在于，所述步骤四中的聚类分析采用K均值聚类算法。

8.如权利要求1所述的基于一致性聚类的Web文本分类方法，其特征在于，所述步骤六中的将r个聚类分析结果再进行聚类分析的方法如下：

1)先将每一个聚类分析结果转化为0-1二元矩阵，其中二元矩阵的行数为n，列数为该聚类分析结果中的最大值，即包含的类的个数；

2)将得到的所有0-1二元矩阵组合形成n×(每一个聚类分析结果的类别个数之和)的二元矩阵；

3)采用K均值聚类算法对组合形成的0-1二元矩阵进行聚类分析，得到最终聚类结果。

9.如权利要求1所述的基于一致性聚类的Web文本分类方法，其特征在于，所述随机提取为简单随机抽样提取。