[发明专利]用于语料库的主题聚类模型构建系统及其构建方法

摘要

本发明公开了一种用于语料库的主题聚类模型构建系统及其构建方法，其通过对语料库中的每篇文档进行抽取主题，并对抽取的每个主题进行抽取词语以及对抽取的每个词语进行添加关联词语，根据每篇文档抽取的主题得到文档的主题分布，根据每个主题抽取的词语以及每个词语对应的关联词语得到主题的词语分布；然后根据文档的主题分布和主题的词语分布，计算得到每个文档中的每个词语的概率值，并将每个文档中的概率值最大的词语作为该文档的主题名称，最后以该主题名称为标识对语料库中的每篇文档进行聚类；其不仅考虑了文档内部的主题和词语，而且还考虑了文档外部的关联词语，使模型输出结果更准确，更接近用户所需要的结果。

主权项

一种用于语料库的主题聚类模型构建系统，其特征在于，包括：主题提取模块，对语料库中的每篇文档进行抽取主题；词语提取模块，对抽取的每个主题进行抽取词语；词语关联模块，对抽取的每个词语进行添加关联词语；分布统计模块，根据每篇文档抽取的主题，得到文档的主题分布；根据每个主题抽取的词语以及每个词语对应的关联词语，得到主题的词语分布；概率统计模块，根据文档的主题分布和主题的词语分布，计算得到每个文档中的每个词语的概率值；结果输出模块，将每个文档中的概率值最大的词语作为该文档的主题名称，并以该主题名称为标识对语料库中的每篇文档进行聚类。