[发明专利]一种基于词嵌入的高斯LDA的优化求解方式

摘要

本发明公开了一种基于词嵌入的高斯LDA的优化求解方法，该方法如下：输入文档集D，设置迭代次数T、模型超参数α，γ，初始化nv,k，nk，nd,k，nd；用逆沙威特分布W‑1(Ψ,γ)求主题‑词嵌入分布的方差Σk、用多元高斯分布N(μ＝0,Σk)求主题‑词嵌入分布的均值μk，用狄利克雷分布Dir(α)求出文档‑主题分布θd，对该文档下的每个词嵌入分配一个主题，用多元高斯分布抽取该位置的词嵌入，得到当前词嵌入的主编号；更新μk，γk，kk，利用Cholesky矩阵分解计算矩阵Ψk，根据矩阵Ψk和方差Σk计算后验预测概率分布；采用Alias采样进行迭代采样，直到迭代结束，输出文档‑主题概率分布和主题‑词嵌入概率分布。本发明能在不失精确度的情况下，提高计算速度和采样速度，进而提高自然语言处理效率。

主权项

1.一种基于词嵌入的高斯LDA的优化求解方法，其特征在于：所述该优化求解方法的步骤如下：S1：输入文档集D，设置迭代次数T、模型超参数α，γ，同时初始化nv,k，nk，nd,k，nd；S2：采用逆沙威特分布W‑1(Ψ,γ)求主题‑词嵌入分布的方差Σk、采用多元高斯分布N(μ＝0,Σk)求主题‑词嵌入分布的均值μk，采用狄利克雷分布Dir(α)求出文档‑主题分布θd，对该文档下的每个词嵌入分配一个主题，采用多元高斯分布抽取该位置的词嵌入，得到当前词嵌入的主编号；S3：更新μk，γk，kk，利用Cholesky矩阵分解计算矩阵Ψk，根据矩阵Ψk和方差Σk计算后验预测概率分布；S4：采用Alias采样进行迭代采样，直到迭代结束，输出参数：文档‑主题概率分布和主题‑词嵌入概率分布。