[发明专利]一种基于集成层次聚类的文本知识合成的方法

权利要求书

1.一种基于集成层次聚类的文本知识合成的方法，其特征在于，所述方法包括：

步骤一，对文本数据集合进行结构化处理，产生一个词文本矩阵；

步骤二，从词文本矩阵中分离不同分类标准下的文本向量，并对对应的词文本矩阵分别进行层次聚类，得到多个基于词的层次聚类结果；

步骤三，对各层次聚类结果进行ultra-metric转换，得到多个满足ultra-metricity的距离矩阵；

步骤四，对任意一组或全部的步骤3转换后的层次聚类结果进行集成，得到统一的层次聚类结果。

2.根据权利要求1所述的基于集成层次聚类的文本知识合成的方法，其特征在于，所述步骤一具体包括：

对文本数据集合进行结构化处理，将文本中的特征词作为描述文本特征，形成词向量，每一篇文本用一个词向量描述，整个文档集合描述为一个词文本矩阵，结构化处理包括：分词处理、去停用词处理。

3.根据权利要求1所述的基于集成层次聚类的文本知识合成的方法，其特征在于，所述步骤二具体包括：

对文本数据集合中属于不同类别的文本进行区分，形成s个文本子集合：D1，D2,…,Ds属于D；分别对D1,D2,…,Ds计算词与词两两之间的距离，形成词的距离矩阵：M1,M2,…,Ms；在M上进行层次聚类得到H1,H2,…,Hs；H1，H2，…,Hs为在相应的距离矩阵M上进行层次聚类的结果。

4.根据权利要求3所述的基于集成层次聚类的文本知识合成的方法，其特征在于，所述步骤三具体包括：

对s个层次聚类结果，选择描述进行ultra-metric转换，转换后的词与词之间的距离具有ultra-metricity，满足以下条件：

1)非负性：描述中的词与词之间的距离大于或等于0；

2)对称性：dist(t1，t2)＝dist(t2，t1)；

3)ultra-metric不等性：dist(ti，tj)≤max(dist(ti，tk),dist(tj，tk))。

5.根据权利要求4所述的基于集成层次聚类的文本知识合成的方法，其特征在于，所述步骤四具体包括：

对通过步骤三转换得到的s个结果进行集成，通过基本的矩阵加法，得到一个集成矩阵，应用Floyd-Warshall Algorithm来计算最小转移距离矩阵，输出的结果矩阵满足ultra-metricity，该输出同时对应一个层次聚类的结果。