[发明专利]自适应潜在狄利克雷模型选择的方法及装置有效
申请号: | 201610050982.4 | 申请日: | 2016-01-26 |
公开(公告)号: | CN105740354B | 公开(公告)日: | 2018-11-30 |
发明(设计)人: | 程光权;陈发君;刘忠;黄金才;朱承;修保新;陈超;冯旸赫;龙开亮 | 申请(专利权)人: | 中国人民解放军国防科学技术大学;长沙市源本信息科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京中济纬天专利代理有限公司 11429 | 代理人: | 胡伟华 |
地址: | 410073 湖*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供一种自适应潜在狄利克雷模型选择的方法及装置,其中的方法根据语料库规模初始化一个经验主题个数K,通过计算LDA模型的主题‑词概率分布的平均余弦距离相似性测度不断更新主题个数K,通过若干轮迭代计算得到相对于初始主题个数更适合当前语料库的K值,并输出对应的LDA模型作为最终的结果模型。通过动态调整主题个数K,在一定程度上避免了因个人经验主观设置K导致的模型不合理问题,提高了模型的精度。 | ||
搜索关键词: | 自适应 潜在 狄利克雷 模型 选择 方法 装置 | ||
【主权项】:
1.一种自适应潜在狄利克雷模型选择的方法,其特征在于,包括以下步骤:步骤S100:将语料库转换为用于LDA模型计算的文档词频矩阵F,并根据语料库规模设置初始主题数K,迭代计算LDA模型;步骤S200:每轮迭代后,根据LDA模型的主题‑词概率分布的平均余弦距离相似度r相对上一轮迭代计算中的平均余弦距离相似度r_old是增大或减小,改变主题数K的变化方向dk,进而更新主题数K,并将更新后的主题数K作为下一轮LDA模型迭代的主题数继续进行迭代计算,迭代计算结束后,得到当前语料库的LDA模型;主题数K的更新规则:K=k_old+dk*alpha*k_old,其中,k_old为上一次迭代的主题数,dk为主题数K的变化方向,随机初始化为1或‑1;alpha为学习因子,可设置为固定值或随着迭代次数变化的序列值;dk的更新规则为:当r‑r_old>0时,dk方向取反,即dk=‑1*dk;当r‑r_old<0时dk不变;所述dk的更新结束条件为:当满足r‑r_old小于eps或者迭代次数达到maxIteration时,结束迭代计算,所述初始化主题数K包括dk,eps,alpha和maxIteration,其中,maxIteration为最大迭代次数,eps为迭代结束阈值。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军国防科学技术大学;长沙市源本信息科技有限公司,未经中国人民解放军国防科学技术大学;长沙市源本信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610050982.4/,转载请声明来源钻瓜专利网。