[发明专利]一种基于集成层次聚类的文本知识合成的方法

说明书

技术领域

本发明涉及基于集成层次聚类的文本知识合成的方法的数据挖掘技术领域，尤其是涉及集成多个文本集合内的词的层次聚类结果的方法。

背景技术

词作为描述文本的基本单元，是对非结构化文本进行结构化描述的基本方法。通常一类文本中出现过的词，是对这个类别的知识信息进行结构化描述的基本要素。一组(对)词语共同出现在一类文章中的次数，代表了这组(对)词语在该类别下的相关程度。在很多情况下，对一个文本集合下的各个词语进行层次聚类得到的树状结构图，蕴含了该文档集合的重要信息。这样的树状结构在信息检索领域中对提升垂直搜索引擎(Vertical Search Engine)的精度、提高开发定向爬虫(Focused Crawler)的效率都有很重要的作用。在实际应用中，对文本的分类方式复杂多变，每个类别下的文档集合都可以产生一个词的层次聚类结果。然而，在目前的文本分析和信息检索方向上，尚没有利用集成层次聚类合成多个领域知识的方法。

综上所述，本申请发明人在实现本申请发明技术方案的过程中，发现上述技术至少存在如下技术问题：

在现有技术中，现有的数据挖掘中的层次聚类分析方法，只是获得多个层次聚类结果，但是并没有进行有效的合成利用，存在不能够对不同的层级聚类结果进行有效处理，不能够集成不同的层级聚类结果，并进行有效的合成利用的技术问题。

发明内容

本发明提供了一种基于集成层次聚类的文本知识合成的方法，解决了现有的数据挖掘中的层次聚类分析方法存在不能够对不同的层级聚类结果进行有效处理，不能够集成不同的层级聚类结果，并进行有效的合成利用的技术问题，实现了能高效对多个类别的知识进行集成，对文本挖掘、信息检索提供有效支撑的技术效果。

随着应用场景的变化，对于不同的层级聚类结果就有了如何组合、分离、更新的需求，因此需要开发出一种能够动态地对多个层次聚类结果进行集成的方法。

数据挖掘中的层次聚类分析已经广泛应用于建立领域知识、形成树状知识图的有效方法。层次聚类的结果对于保存知识信息有如下好处：1.一个领域(类别)下的文本集合都可以生成一个层次聚类结果；2.该结果保存了词-词相似度；3.可在任意层级进行切分，便于发现潜在的子分类。考虑到领域知识对于文本分析的重要性以及词-词距离对于文本分析的重要性，当有多个层次聚类结果需要集成时，如何评估集成后的词-词相似度，和如何在集成后同样得到一个层次聚类的结果，是利用好多领域知识的关键。

为解决上述技术问题，本申请提供了一种基于集成层次聚类的文本知识合成的方法，所述方法包括：

步骤一，对文本数据集合进行结构化处理，产生一个词文本矩阵；

步骤二，从词文本矩阵中分离不同分类标准下的文本向量，并对对应的词文本矩阵分别进行层次聚类，得到多个基于词的层次聚类结果；

步骤三，对各层次聚类结果进行ultra-metric转换，得到多个满足ultra-metricity的距离矩阵；

步骤四，对任意一组或全部的步骤3转换后的层次聚类结果进行集成，得到统一的层次聚类结果。(对转换后的结果进行集成，步骤三中得到的每一个距离矩阵就是对应一个待集成的层级聚类结果。)

进一步的，所述步骤一具体包括：

对文本数据集合进行结构化处理，将文本中的特征词作为描述文本特征，形成词向量，每一篇文本用一个词向量描述，整个文档集合描述为一个词文本矩阵，结构化处理包括：分词处理、去停用词处理。(分词处理是指将一个文本字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。)

进一步的，所述步骤二具体包括：

对文本数据集合中属于不同类别的文本进行区分，形成s个文本子集合：D1，D2,…,Ds属于D；分别对D1,D2,…,Ds计算词与词两两之间的距离，形成词的距离矩阵：M1,M2,…,Ms；在M上进行层次聚类得到H1,H2,…,Hs。

进一步的，所述步骤三具体包括：

对s个层次聚类结果，选择描述进行ultra-metric转换，转换后的词与词之间的距离具有ultra-metricity，满足以下条件：

1)非负性：描述中的词与词之间的距离大于或等于0；

2)对称性：dist(t1，t2)＝dist(t2，t1)；

3)ultra-metric不等性：dist(ti，tj)≤max(dist(ti，tk),dist(tj，tk))。

进一步的，所述步骤四具体包括：