[发明专利]一种基于分类效用的文本聚类方法及其系统

权利要求书

1.一种基于分类效用的文本聚类方法，其特征在于，具体步骤包括：

(1)输入文本数据集，对文本数据集进行预处理；

(2)使用无监督的特征选择和特征权重计算方法，将文本转化为特征向量；

(3)计算两两向量之间的夹角余弦值，根据所得结果比较相应两两文本间的相似度，并将其存储在相似度矩阵中；

(4)根据相似度矩阵，选择相似度最高的两个类进行合并，用这两个类的向量的均值来表示合并后的新类，计算新类与其他类的相似度，更新相似度矩阵；

(5)计算合并后分类效用的值，并将该值与合并后的聚类结果分别存储在两个列表中；

(6)重复步骤(4)和(5)，直至聚类个数为1或者任意两个类之间相似度为0时，停止聚类；

(7)从分类效用值的存储列表中找到分类效用的最大值，输出该值所对应的聚类结果；

(8)根据第一次聚类得到的类别信息，使用有监督的方法重新处理文本，用相同的方法对文本进行第二次聚类，输出分类效用值最大时所对应的聚类结果。

2.根据权利要求1所述的一种基于分类效用的文本聚类方法，其特征在于，所述步骤(1)中的预处理包括分词、词干提取和词型还原、过滤停用词和标点符号。

3.根据权利要求2所述的一种基于分类效用的文本聚类方法，其特征在于，所述分词处理具体操作为：找出所有不重复的数据，然后给每个数据当作一个需要分类的文本，赋予唯一的ID号，并构建文本和ID号之间的映射，然后根据文本的内容，对文本进行切分；其中，将输入数据集中的每条文本都进行分词处理，英文文本按照空格进行切分，中文文本采用分词工具进行切分。

4.根据权利要求2所述的一种基于分类效用的文本聚类方法，其特征在于，所述预处理中中采用停用词表以及选定以构建标点符号词典的方式，来对停用词和标点符号进行过滤。

5.根据权利要求1所述的一种基于分类效用的文本聚类方法，其特征在于，步骤(5)用于计算分类效用值的分类效用函数的表示方式为：

其中，C表示类别集合，F表示特征集合，f_i表示特征集合中的一个特征，p(f_i|c_k)表示在类别c_k中，一个实例拥有特征f_i的概率，p(c_k)表示一个实例属于类别c_k的概率，p(f_i)表示在整个数据集中，一个实例拥有特征f_i的概率，n表示特征总数，m表示类别总数。

6.根据权利要求1所述的一种基于分类效用的文本聚类方法，其特征在于，在进行聚类分析之后，采用不同的聚类质量评价指标来判别聚类算法的好坏，以及通过将聚类过程可视化的方法，能够更加直观地理解高维度的聚类过程。

7.一种用于实现权利要求1-5的基于分类效用的文本聚类系统，其特征在于，所述系统包括分词模块、词干提取和词型还原模块、过滤停用词和标点符号模块、特征选择和计算特征权重模块、文本聚类模块以及评估和可视化模块；

所述分词模块，用于将自然语言文本转换为更小的单元；

所述词干提取和词型还原模块，用于通过使用不同的词型词典，将表达相同意思的词还原成同一个词；

所述过滤停用词和标点符号模块，用于将对表达文本的本质内容没有任何作用的停用词以及标点符号过滤掉；

所述特征选择和计算特征权重模块，用于从文本中选出最能代表文本和最具统计意义的词作为特征，并对每一个特征进行赋值；

所述文本聚类模块，用于通过基于分类效用的文本聚类方法，对赋值后的特征进行聚类，得到基本层次类别的信息，并输出聚类结果；

所述评估和可视化模块，用于采用不同的聚类质量评价指标来判别聚类算法的好坏，并将聚类过程可视化。

8.根据权利要求6所示的一种基于分类效用的文本聚类系统，其特征在于，在所述文本聚类模块中，具体的工作过程为：对特征选择和计算特征权重模块输出的赋值后的特征文本，利用凝聚型层次聚类算法对文本进行聚类分析，计算每次合并后分类效用的值，直到文本之间的相似度为0，即没有再相似的文本可以进行合并或者所有文本都划分到同一类中时停止，将这个过程中分类效用的值最大时对应的结果输出，输出结果为基本层次类别；根据第一次聚类得到的类别信息，采用有监督的特征选择和特征权重计算算法对文本进行处理，重复上述过程，输出分类效用值最大时所对应的聚类结果。