[发明专利]对包含多个文档的源数据进行聚类的装置和方法

权利要求书

1.一种对包含多个文档的源数据进行聚类的装置，包括：

设置单元，其设置聚类数的集合；

聚类单元，其针对所述设置单元设置的集合中的每一个聚类数，使用 所述文档中的词作为特征对所述源数据进行聚类，以将所述源数据聚类成 数目等于聚类数的簇；

划分单元，其针对所述聚类单元聚类的每一个簇，使用所述文档中的 主题作为特征对簇执行划分过程，在所述划分过程中，簇被划分成两个部 分，并且如果所述两个部分的相似度小于第一预定阈值，则将簇划分成两 个子簇；

合并单元，其对所述划分单元划分后的簇执行合并过程，在所述合并 过程中，计算簇和子簇中的任意两个之间的相似度，并且如果簇和子簇中 的任意两个之间的相似度大于或等于第二预定阈值，则将其合并为一个 簇；

计数单元，其对所述合并单元合并后的簇进行计数，以获得更新聚类 数；以及

聚类数确定单元，其对所述计数单元获得的相同的更新聚类数进行计 数，并且将数目最多的更新聚类数确定为最佳聚类数。

2.根据权利要求1所述的装置，进一步包括：

第一计算单元，其针对与所述聚类数确定单元确定为最佳聚类数的更 新聚类数相对应的源数据聚类中的每一种聚类，计算每个簇的内部相似 度；

获取单元，其基于所述第一计算单元计算的每个簇的内部相似度，获 取所述每一种聚类的聚类相似度；以及

聚类确定单元，其将通过所述获取单元得到的具有最高聚类相似度的 聚类确定为最佳源数据聚类。

3.根据权利要求2所述的装置，其中，所述第一计算单元进一步包 括：

第一簇主题化单元，其针对每个簇，运行主题模型，以获取簇主题向 量；以及

文档主题化单元，其针对每个簇中的每个文档，运行所述主题模型， 以获取文档主题向量，其中，

所述第一计算单元基于通过所述第一簇主题化单元获取的簇主题向 量和通过所述文档主题化单元获取的文档主题向量来计算所述内部相似 度。

4.根据权利要求1所述的装置，其中，所述划分单元进一步包括：

第二簇主题化单元，其针对簇运行主题模型，以获取两个主题向量； 以及

第二计算单元，其计算所述第二簇主题化单元获取的两个主题向量之 间的相似度，其中，

如果所述两个主题向量之间的相似度小于所述第一预定阈值，则所述 划分单元将簇划分成两个子簇。

5.根据权利要求4所述的装置，其中，所述划分单元还包括：

主题获取单元，其获取待划分的簇的两个主题词向量；

第二文档主题化单元，其针对待划分的簇中的每一篇文档，运行主题 模型，以获取每一篇文档的词向量；以及

第三计算单元，其分别计算每一篇文档的词向量与待划分的簇的两个 主题词向量的相似度，

其中，所述划分单元基于每一篇文档的词向量与待划分的簇的两个主 题词向量的相似度将待划分的簇划分为第一子簇或第二子簇。

6.根据权利要求3、4或5所述的装置，其中，所述主题模型是LDA 模型。

7.根据权利要求1所述的文本聚类装置，其中，所述合并单元重复 执行所述合并过程，直到簇和子簇中的任意两个之间的相似度都小于所述 第二预定阈值为止。