[发明专利]一种基于小世界现象的文本聚类方法

权利要求书

1.一种基于小世界现象的文本聚类方法，其特征在于，具体步骤如下：

1)将文本集合中的所有文本首尾相接，合并为一个长文本；

2)对该长文本进行预处理，包括分词、词性标注和去除停用词，保留所有的名词和动词；

3)将所有的名词和动词构建成一个词网络；

4)计算词网络中每个词的聚类系数；

5)根据步骤4)所得的聚类系数，计算每个词的聚类权重；

6)将所有词的聚类权重进行softmax归一化，得到每个词的聚类概率；

7)将词按照其聚类概率从大到小排列，选择TOPK个词作为聚类中心，对所有文本进行Kmeans聚类，输出聚类准确度。

2.根据权利要求1所述的基于小世界现象的文本聚类方法，其特征在于，所述步骤3)中将所有的名词和动词构建成一个词网络，该词网络的节点是词。若两个词在一个句子中共同出现，则把这两个词节点连起来形成一条边。

3.根据权利要求1所述的基于小世界现象的文本聚类方法，其特征在于，所述步骤4)中计算词网络中每个词的聚类系数，对于一个词v_i,其聚类系数c(v_i)计算公式如下：

其中，neg_i为词v_i的邻居个数，sum(neg_i)为词v_i的邻居之间的边数，i＝1…n，n为词网络的词数量。

4.根据权利要求1所述的基于小世界现象的文本聚类方法，其特征在于，所述步骤5)中计算每个词的聚类权重，对于每个词v_i,其聚类权重cw(v_i)计算公式如下：

cw(v_i)＝cc(v_i)×freq(v_i)

其中freq(v_i)为词v_i的词频。

5.根据权利要求1所述的基于小世界现象的文本聚类方法，其特征在于，所述步骤6)将所有词的聚类权重进行softmax归一化，得到每个词v_i的聚类概率cp(v_i)，其计算公式如下：

其中j＝1…n，n为词网络的词数量。