[发明专利]内置约束规则的k-means文本聚类方法及装置

说明书

本申请实施例公开一种内置约束规则的k‑means文本聚类方法及装置，该方法包括：利用第一约束规则预处理待聚类文本集，得到与第一约束规则对应的第一预处理集合；获取待聚类文本集中的k个文本作为簇心，k＜N，N为待聚类文本集中文本的总数量；如果簇心包含于第一预处理集合中，则将该第一预处理集合中除该簇心外的其余文本添加到与簇心对应的类簇中，清除待聚类文本集中已经添加到类簇中的文本；将待聚类文本集中剩余的文本分别添加到与其距离最近的簇心所对应的类簇中；重新计算每个类簇的新的簇心，如果新的簇心满足预设的停止条件，则输出全部类簇。采用上述聚类方法可以降低文本聚类的计算复杂度，同时还能提高聚类精度。

技术领域

本发明涉及信息处理与文本挖掘技术领域，具体涉及一种内置约束规则的k-means文本聚类方法及装置。

背景技术

聚类分析是数据挖掘领域重要工具之一，其基础工作就是将数据进行聚类。聚类是将数据分类到不同的类簇的一个过程，同一个类簇中的数据有很大的相似性，而不同类簇间的数据有很大的相异性。常用的聚类算法有层次聚类、网格聚类、划分聚类等，其中划分聚类中的k-means聚类算法相对更为常用且容易实现。

典型的k-means聚类算法包括以下步骤：

1、从包括N个文本的数据集中随机选择k个文本作为簇心，k＜N；

2、对除簇心外的每一个文本，测量其到每个簇心的距离，将该文本归入与其距离最近的簇心的类簇中；

3、重新计算每个类簇的新的簇心；

4、迭代第2步和第3步，直到新的簇心与原簇心的距离小于预设的阈值，或者迭代次数达到预设次数，然后输出每个类簇。

发明人经过分析认为，典型的k-means聚类算法每次迭代，数据集中所有的数据都需要参与一次计算，计算除簇心外的其他每一个文本到每一个簇心的距离，尤其当数据集中的文本量较大和/或选取的簇心数量较大时，计算复杂度很高。此外，典型的k-means聚类方法是基于文本内容来提取特征，以计算文本之间的距离，其聚类的效果不够理想，很容易将特征相似但主题不同/不相关的文本，或者将特征不相似但主题相同/相关的文本划分到错误的类簇中。

发明内容

为解决上述技术问题，本申请提供一种内置约束规则的k-means文本聚类方法，以降低文本聚类时的计算复杂度及改善聚类效果。

第一方面，本申请提供一种内置约束规则的k-means文本聚类方法，包括以下步骤：

利用第一约束规则预处理待聚类文本集，得到与所述第一约束规则对应的第一预处理集合，符合所述第一约束规则的文本必须聚类到相同的类簇中，所述第一预处理集合包括符合对应的第一约束规则的文本；

获取所述待聚类文本集中的k个文本作为簇心，k＜N，N为待聚类文本集中文本的总数量；

如果簇心包含于第一预处理集合中，则将该第一预处理集合中除该簇心外的其余文本添加到与簇心对应的类簇中，清除所述待聚类文本集中已经添加到类簇中的文本；

将待聚类文本集中剩余的文本分别添加到与其距离最近的簇心所对应的类簇中；

重新计算每个类簇的新的簇心，如果新的簇心满足预设的停止条件，则输出全部类簇。

结合第一方面，在第一方面第一种可能的实现方式中，将待聚类文本集中剩余的文本分别添加到与其距离最近的簇心所对应的类簇中的步骤，包括：

计算待聚类文本集中的当前文本与每一个簇心的距离，将当前文本添加到与其距离最近的簇心所对应的类簇中；

如果当前文本包含于第一预处理集合中，则将该第一预处理集合中除当前文本外的其余文本添加到当前文本所在的类簇中，清除所述待聚类文本集中已经添加到类簇中的文本。