[发明专利]自适应潜在狄利克雷模型选择的方法及装置

摘要

本发明提供一种自适应潜在狄利克雷模型选择的方法及装置，其中的方法根据语料库规模初始化一个经验主题个数K，通过计算LDA模型的主题‑词概率分布的平均余弦距离相似性测度不断更新主题个数K，通过若干轮迭代计算得到相对于初始主题个数更适合当前语料库的K值，并输出对应的LDA模型作为最终的结果模型。通过动态调整主题个数K，在一定程度上避免了因个人经验主观设置K导致的模型不合理问题，提高了模型的精度。

主权项

1.一种自适应潜在狄利克雷模型选择的方法，其特征在于，包括以下步骤：步骤S100：将语料库转换为用于LDA模型计算的文档词频矩阵F，并根据语料库规模设置初始主题数K，迭代计算LDA模型；步骤S200：每轮迭代后，根据LDA模型的主题‑词概率分布的平均余弦距离相似度r相对上一轮迭代计算中的平均余弦距离相似度r_old是增大或减小，改变主题数K的变化方向dk，进而更新主题数K，并将更新后的主题数K作为下一轮LDA模型迭代的主题数继续进行迭代计算，迭代计算结束后，得到当前语料库的LDA模型；主题数K的更新规则：K＝k_old+dk*alpha*k_old，其中，k_old为上一次迭代的主题数，dk为主题数K的变化方向，随机初始化为1或‑1；alpha为学习因子，可设置为固定值或随着迭代次数变化的序列值；dk的更新规则为：当r‑r_old>0时，dk方向取反，即dk＝‑1*dk；当r‑r_old<0时dk不变；所述dk的更新结束条件为：当满足r‑r_old小于eps或者迭代次数达到maxIteration时，结束迭代计算,所述初始化主题数K包括dk，eps，alpha和maxIteration，其中，maxIteration为最大迭代次数，eps为迭代结束阈值。