[发明专利]一种基于潜在狄利克雷分配（LDA）模型的关键词推荐方法和系统

摘要

本发明提供一种基于潜在狄利克雷分配(LDA)模型的关键词推荐方法和系统，所述方法包括基础LDA训练和增量LDA训练。基础LDA训练针对训练文本获得基础词到主题的概率分布、基础文本到主题的概率分布；增量LDA训练针对特定的增量种子词，对与所述增量种子词相匹配的训练文本计算增量LDA模型，获得增量词到主题的概率分布、增量文本到主题的概率分布；最后形成全量词到主题的概率分布和全量文本到主题的概率分布。并对全量模型中的每两个词计算相关性权重和最终相关性得分，对最终相关性得分最高的一个或多个关键词进行推荐。本发明通过采用增量训练模型，大大提高主题聚类的精度，以及主题的多样性，显著提高了主题内关键词的质量。

主权项

一种基于潜在狄利克雷分配(LDA)模型的关键词推荐方法，包括：对训练文本进行预处理过滤常用词，以做结构化存储并生成明文词典；对训练文本计算基础LDA模型，获得基础词到主题的概率分布、基础文本到主题的概率分布；获取增量种子词，筛选与所述增量种子词相匹配的训练文本作为增量训练文本，其中，所述增量种子词是细分行业的种子词；对所述增量训练文本计算增量LDA模型，获得增量词到主题的概率分布、增量文本到主题的概率分布；将所述增量词到主题的概率分布、增量文本到主题的概率分布分别增加至基础词到主题的概率分布、基础文本到主题的概率分布，从而获得全量词到主题的概率分布和全量文本到主题的概率分布；从全量词到主题的概率分布中获得全量主题词向量，为每一个主题词向量i计算该主题中每两个词(a1、a2)之间的相关性权重simi(a1,a2)，以及叠加该两个词在所有主题词向量的相关性权重Σsimi(a1,a2)，从而获得该两个词的最终相关性得分sim(a1,a2)，其中，所述全量主题词向量是全量词到主题的概率分布中的列向量；在关键词搜索结果中，推荐最终相关性得分最高的一个或多个关键词。