[发明专利]一种基于分类效用的文本聚类方法及其系统

说明书

本发明公开了一种基于分类效用的文本聚类方法，包括：(1)对输入数据集进行预处理；(2)将文本转化为特征向量；(3)计算两两向量之间的夹角余弦值，比较两者的相似度；(4)选择相似度最高的两个类进行合并，计算新类与其他类的相似度；(5)计算合并后分类效用的值，并将该值与合并后的聚类结果分别存储在两个列表中；(6)重复步骤(4)和(5)，直至聚类个数为1或者任意两个类之间相似度为0；(7)找到分类效用的最大值，输出该值所对应的聚类结果；(8)对文本进行第二次聚类，输出分类效用值最大时所对应的聚类结果。本发明具有使得机器对数据的处理过程更加符合人类的认知、帮助用户挖掘潜在知识规律的优点。

技术领域

本发明涉及文本聚类领域，尤其涉及一种基于分类效用的文本聚类方法及其系统。

背景技术

随着大规模分享和应用信息时代的来临，作为重要的信息载体之一，文本呈爆炸式增长的数据量已经远超人们处理的速度，在这种情况下，传统的通过手工方式对数据进行分析是不可行的，人们需要的是利用计算机，使得处理和分析大规模文本数据的过程自动化。因此，数据挖掘应运而生。作为数据挖掘重要技术之一的文本聚类，对其进行研究能够更合理、更有效地利用现有的数据资源。

与文本分类技术相对的，文件聚类的输入是未知类别标签的文档，而文本聚类技术可以自动地根据文档的特征，尽可能地将相似的文档聚在同一个类中，将相异的文档聚在不同类中，由于文本聚类可以处理未知类别标签的文档，更符合实际情况，因此被广泛运用在现实生活中。文件聚类可以用于多文档自动摘要，还可以通过分析用户浏览过的文档，发现用户的兴趣所在，进行相关的推送服务。

目前的文本聚类算法主要有两种，一种是基于层次的文本聚类算法，另一种是k-means算法及其变种算法。但是这两种算法仍然存在着不足之处，前者需要设置终止条件，后者需要设置聚类的个数，即这两种算法都需要用户输入参数。然而现实生活中针对不同的问题需要获得不同的聚类结果，因此终止条件的设定和聚类的个数都会受到环境因素的影响。对于用户来说，可以较准确地设置所需的参数，达到预期的文本聚类效果，但是对于计算机来说，就需要用户的参与才能够较准确地设置参数。所以，如何减少用户的参与，即在用户输入参数最少的情况下，让计算机自动进行文本聚类，是当前的一大难题。

文本聚类：文本聚类为一种无监督的机器学习方法，文本聚类与文本分类的主要区别是文本聚类不需要训练过程，不需要预先对文本类别进行手动标注。而文本分类则需要将数据集按照一定的规则拆分为训练集和测试集，并且预定义好文本的类别，即给每个文本贴上类别标签。

基本层次类别：是指在类别层次结构中，有一个层次处于类别层次结构的中间，人类认知事务时会无意识、自动将新事物映射到处于基本层次的类别中，认知心理学家把这种现象叫做基本层次分类，而处于基本层次上的类别叫做基本层次类别。

认知心理学家通过研究发现基本层次类别最重要的性质是类内相似度最大，类间相似度最小，这与文本聚类的目的：使最相似的文本尽可能地聚在同一个类中，相异的文档尽可能地聚在不同类中，不谋而合。

发明内容

本发明的目的在于提供一种基于分类效用的文本聚类方法，所述方法通过引入认知心理中的分类效用概念，将其与层次聚类算法相结合，有效地解决了本文聚类算法需要设定参数的问题。

本发明的目的能够通过以下技术方案实现：

一种基于分类效用的文本聚类方法，具体步骤包括：

(1)输入文本数据集，对文本数据集进行预处理；

(2)使用无监督的特征选择和特征权重计算方法，将文本转化为特征向量；

(3)计算两两向量之间的夹角余弦值，根据所得结果比较相应两两文本间的相似度，并将其存储在相似度矩阵中；