[发明专利]一种基于小世界现象的文本聚类方法

说明书

本发明公开了一种基于小世界现象的文本聚类方法，具体步骤如下：(1)将文本集合中的所有文本首尾相接，合并为一个长文本；(2)对该长文本进行预处理；(3)将所有的名词和动词构建成一个词网络；(4)计算词网络中每个词的聚类系数；(5)根据步骤(4)所得的聚类系数，计算每个词的聚类权重；(6)将所有词的聚类权重进行softmax归一化，得到每个节点的聚类概率；(7)将词按照其聚类概率从大到小排列，选择TOPK个词作为聚类中心，对所有文本进行Kmeans聚类，输出聚类准确度。本方法充分利用文本结构的小世界特点，基于文本中词的聚类系数和聚类概率获取聚类中心，改进了传统的无监督聚类中随机选择聚类中心的方法，从而提高聚类收敛速度和聚类准确度。

技术领域

本发明涉及一种基于小世界现象的文本聚类方法，具体是涉及利用文本结构的小世界现象计算词的聚类权重，选择聚类权重大的词作为聚类中心进行文本聚类，从而改进传统的无监督聚类中随机选择聚类中心的方法。

背景技术

文本聚类是自然语言处理领域的基础问题，主要包括划分型算法，层次型算法及基于密度的算法等。

K-means算法是最经典的划分型聚类算法，采用距离作为相似性的评价指标，即空间上的两个节点距离越近，其相似度也越大。初始聚类中心随机选择，并由启发式算法经过多轮迭代，采用簇中样本均值更新聚类中心。这种算法复杂度低，易于实现。但是需要预先指定分组数目K，但若缺少先验知识，很难预先确定K值。另外初始的随机聚类中心对最终的聚类结果及运行效率都有很大的影响。K-medoids改进了K-means中聚类中心更新的方法，选取簇中到所有样本点距离和最小的样本点作为聚类中心。因此相较于K-means，K-medoids对噪音样本的干扰具有较强的鲁棒性，但是仍然存在预先确定分组K及初始随机选择聚类中心的问题。

层次聚类方法包括自底向上层次聚类和自顶向下层次聚类。自底向上的方法初始假设每个样本都是一个簇，自底向上不断选择最近的簇进行合并，直到所有的簇都合并到一个簇中或满足某个给定条件为止。自顶向下聚类则相反，初始状态所有样本同属于一个簇，按照一定规则不断将簇分裂，直至最终每个样本自身为一个簇。

基于密度的聚类方法以样本集在空间上分布的密度作为划分类的依据。预先给定密度阀值，若某个空间区域中的样本密度超过阀值，就把该区域的所有样本划入临近的分区中。该方法无需预先设定聚类分组数目，适合对未知样本数据集进行聚类操作。但阀值的设定会影响聚类效果，如阀值过大可能导致同一类被分割，而阀值较小可能导致不同类聚集。

发明内容

本发明的目的在于针对K-means及K-medoids随机指定聚类中心的迭代式聚类方法，提出一种基于小世界现象的聚类中心计算方法，具体是利用文本结构的小世界现象计算词的聚类权重及聚类概率，选择聚类概率大的词作为聚类中心进行文本聚类，从而提升聚类效果，缩减聚类迭代时间。

为达到上述目的，本发明采用下述技术方案：

一种基于小世界现象的文本聚类方法，具体步骤如下：

1)将文本集合中的所有文本首尾相接，合并为一个长文本；

2)对该长文本进行预处理，包括分词、词性标注和去除停用词，保留所有的名词和动词；

3)将所有的名词和动词构建成一个词网络；

4)计算词网络中每个词的聚类系数；

5)根据步骤4)所得的聚类系数，计算每个词的聚类权重；

6)将所有词的聚类权重进行softmax归一化，得到每个词的聚类概率；

7)将词按照其聚类概率从大到小排列，选择TOPK个词作为聚类中心，对所有文本进行Kmeans聚类，输出聚类准确度。