[发明专利]对包含多个文档的源数据进行聚类的装置和方法

说明书

技术领域

本发明涉及自然语言处理、数据挖掘领域，具体地涉及对包含多个文 档的源数据进行聚类的装置和方法。

背景技术

这个部分提供了与本公开有关的背景信息，这不一定是现有技术。

文本聚类是指通过聚类算法，将文本集合划分成多个类别，每个类别 之内的文本相似度较大，类别之间的文本相似度较小。文本聚类多应用于 文档自动文摘、搜索引擎结果聚类、信息过滤/推送、数字图书馆服务等技 术。

文本聚类的方法依赖于核心聚类算法，聚类算法有很多种，其中多数 算法都需要提前设定最终的聚类数量，才可以完成聚类过程。例如K-means 算法，这种方法最大的问题就是K值的设定，通常情况下，需要人的先验 知识或者感觉设定K值，由此这种方法过于主观而很难取得令人满意的结 果。

发明内容

这个部分提供了本公开的一般概要，而不是其全部范围或其全部特征 的全面披露。

本公开的目的在于提供一种改进的文本聚类方法，将常规的聚类结果 作为中间结果，通过子类划分、二次聚类的方法使不同的聚类结果趋向同 一个聚类数(k值)，然后从选定的k值中选择最终的聚类结果。

根据本公开的一方面，提供了一种对包含多个文档的源数据进行聚类 的装置，包括：设置单元，其设置聚类数的集合；聚类单元，其针对设置 单元设置的集合中的每一个聚类数，使用文档中的词作为特征对源数据进 行聚类，以将源数据聚类成数目等于聚类数的簇；划分单元，其针对聚类 单元聚类的每一个簇，使用文档中的主题作为特征对簇执行划分过程，在 划分过程中，簇被划分成两个部分，并且如果两个部分的相似度小于第一 预定阈值，则将簇划分成两个子簇；合并单元，其对划分单元划分后的簇 执行合并过程，在合并过程中，计算簇和子簇中的任意两个之间的相似度， 并且如果簇和子簇中的任意两个之间的相似度大于或等于第二预定阈值， 则将其合并为一个簇；计数单元，其对合并单元合并后的簇进行计数，以 获得更新聚类数；以及聚类数确定单元，其对计数单元获得的相同的更新 聚类数进行计数，并且将数目最多的更新聚类数确定为最佳聚类数。

根据本公开的另一方面，提供了一种对包含多个文档的源数据进行聚 类的方法，该方法包括：设置聚类数的集合；针对集合中的每一个聚类数， 使用文档中的词作为特征对源数据进行聚类，以将源数据聚类成数目等于 聚类数的簇；针对集合中的每一个聚类数，并且针对每一个簇，使用文档 中的主题作为特征对簇执行划分过程，在划分过程中，簇被划分成两个部 分，并且如果两个部分的相似度小于第一预定阈值，则将簇划分成两个子 簇；针对集合中的每一个聚类数，对划分后的簇执行合并过程，在合并过 程中，计算簇和子簇中的任意两个之间的相似度，并且如果簇和子簇中的 任意两个之间的相似度大于或等于第二预定阈值，则将其合并为一个簇； 针对集合中的每一个聚类数，对合并后的簇进行计数，以获得更新聚类数； 以及对相同的更新聚类数进行计数，并且将数目最多的更新聚类数确定为 最佳聚类数。

根据本公开的另一方面，提供了一种程序产品，该程序产品包括存储 在其中的机器可读指令代码，其中，所述指令代码当由计算机读取和执行 时，能够使所述计算机执行根据本公开的对包含多个文档的源数据进行聚 类的方法。

根据本公开的另一方面，提供了一种机器可读存储介质，其上携带有 根据本公开的程序产品。

使用根据本公开的对包含多个文档的源数据进行聚类的装置和方法， 将常规的聚类结果作为中间结果，通过子类划分、二次聚类的方法使不同 的聚类结果趋向同一个聚类数(k值)，然后从选定的k值中选择最终的聚 类结果，并且在聚类过程中以更高层次的特征如主题进行特征提取，从而 进一步改进聚类的结果。

这个概要中的描述和特定例子只是为了示意的目的，而不旨在限制本 公开的范围。

附图说明

在此描述的附图只是为了所选实施例的示意的目的而非全部可能的实 施，并且不旨在限制本公开的范围。在附图中：

图1为示例性的现有聚类方法的流程；

图2为本公开的示例性文本聚类的流程；

图3为根据本公开的实施例的文本聚类装置的框图；

图4为根据本公开的实施例聚类后的具有较佳聚类质量的簇的结果；

图5为根据本公开的实施例聚类后的具有较差聚类质量的簇的结果；