[发明专利]增强BTM主题模型主题词语义相关性和主题凝聚度方法

摘要

增强BTM主题模型主题词语义相关性和主题凝聚度方法,属于文本挖掘和机器学习的交叉领域，包括下述内容：（1）文本语料获取以及预处理；（2）词向量模型构建；（3）BTM主题模型的建模；（4）词语之间语义相关性计算；（5）结合双词语义相关的主题模型的建模。本发明的双词扩展的主题模型在主题凝聚度TC值以及Js距离值上都比传统的主题模型有明显的提高。

主权项

1.增强BTM主题模型主题词语义相关性和主题凝聚度方法，包括下述内容：(1)文本语料获取以及预处理：即从电商在线评论中，通过爬虫程序将手机商品里面的评论抓取下来，然后通过分词程序以及停用词词表，对语料进行预处理；(2)词向量模型构建：利用大规模的语料，训练语义相关的词向量，确定词向量的维度，选择合适维度的词向量；(3)BTM主题模型的建模：即用吉布斯采样算法，提取语料中的文档‑主题矩阵A以及主题‑主题词矩阵B；(4)词语之间语义相关性计算：即用已经建立好的词向量模型，通过余弦距离，计算出每条短文本商品评论中，通过分词之后的，任意两个词语之间的语义相关性，并选取合适的主题词语义阈值C，主题词语义阈值C的取值范围为0～1；然后在吉布斯采样中将不同语义距离的词语扩展不同的相关词语数量；(5)结合双词语义相关的主题模型的建模：即将语义距离值C作为筛选条件，选择不同数量的相关词语融入到主题模型吉布斯采样的过程中，实现双词BTM主题模型的构建。