[发明专利]一种基于文本聚类的分布式索引构建方法及系统

权利要求书

1.一种基于文本聚类的分布式索引构建方法，其特征在于，所述方法 包括：

对非结构化文本进行格式化和分词预处理，将预处理结果存储在分布 式节点上；

对所述预处理结果进行过滤与特征提取处理，获取处理后的文本词汇 特征向量；

采用Canopy-Kmeans聚类算法对所述文本词汇特征向量进行聚类处 理，获取所述文本词汇特征向量的K个聚簇；

将所述K个聚簇的每个聚簇分布在一个或多个分布式节点上；

采用索引引擎对所述分布在一个或多个分布式节点上的所述K个聚簇 进行建立全文索引处理，获取K个全文索引。

2.根据权利要求1所述的分布式索引构建方法，其特征在于，所述对 非结构化文本进行格式化和分词预处理，将预处理结果存储在分布式节点 上，包括：

将各个分布式节点上不同格式的非结构化文本进行格式统一处理，获 取格式一致的第一文本；

对所述第一文本进行分词处理，根据处理结果进行关键词提取，获取 第一文本的关键词词汇；

采用“key＝文本编号、value＝文本词汇”的组合方式将所述关键词词汇 存储在分布式节点上。

3.根据权利要求1所述的分布式索引构建方法，其特征在于，所述对 所述预处理结果进行过滤与特征提取处理，获取处理后的文本特征向量， 包括：

采用并行化计算方式对存储在所述分布节点的文本进行处理，获取所 述文本内词汇的词频；

采用所述词频与第一阈值进行比较，保存所述词频大于第一阈值的词 汇；

计算所述词汇的TF-IDF值，采用所述TF-IDF值与第二阈值相比较， 保存TF-IDF值大于第二阈值的第二词汇；

根据所述第二词汇提取特征，并赋予所述第二词汇的权重，获取所述 第二词汇的特征向量。

4.根据权利要求1所述的分布式索引构建方法，其特征在于，所述采 用Canopy-Kmeans聚类算法对所述文本特征向量进行聚类处理，包括：

采用Canopy聚类方式对所述文本词汇特征向量进行初步聚类，获取以 Canopy为中心的文本词汇特征向量初步聚簇；

根据所述文本词汇特征向量初步聚簇进行Kmeans聚类处理，获取所述 文本词汇特征向量的K个聚簇。

5.根据权利要求1所述的分布式索引构建方法，其特征在于，所述采 用索引引擎对所述分布在一个或多个分布式节点上的所述K个聚簇进行建 立全文索引处理，包括：

采用索引引擎对每个分布节点上的聚簇进行处理，建立所述聚簇的全 文索引；

对所有分布节点上聚簇的全文索引进行合并，获取K个全文索引。

6.一种基于文本聚类的分布式索引构建系统，其特征在于，所述系统 包括：

预处理模块：用于对非结构化文本进行格式化和分词预处理，将预处 理结果存储在分布式节点上；

过滤与特征提取模块：用于对所述预处理结果进行过滤与特征提取处 理，获取处理后的文本词汇特征向量；

聚类模块：用于采用Canopy-Kmeans聚类算法对所述文本词汇特征向 量进行聚类处理，获取所述文本词汇特征向量的K个聚簇；

聚簇分布模块：用于将所述K个聚簇的每个聚簇分布在一个或多个分 布式节点上；

索引构建模块：用于采用索引引擎对所述分布在一个或多个分布式节 点上的所述K个聚簇进行建立全文索引处理，获取K个全文索引。

7.根据权利要求6所述的分布式索引构建系统，其特征在于，所述预 处理模块，包括：

格式统一处理单元：用于将各个分布式节点上不同格式的非结构化文 本进行格式统一处理，获取格式一致的第一文本；

分词处理与关键词提取单元：用于对所述第一文本进行分词处理，根 据处理结果进行关键词提取，获取第一文本的关键词词汇；

存储单元：用于采用“key＝文本编号、value＝文本词汇”的组合方式将 所述关键词词汇存储在分布式节点上。