[发明专利]一种基于词嵌入的高斯LDA的优化求解方式

权利要求书

1.一种基于词嵌入的高斯LDA的优化求解方法，其特征在于：所述优化求解方法的步骤如下：

S1：输入文档集D，设置迭代次数T、模型超参数α，γ，同时初始化n_v，k，n_k，n_d，k，n_d；α表示狄利克雷分布的超参数；γ表示逆威沙特分布的伪计数；n_v，k表示词嵌入v被赋予主题k的数量；n_k表示被赋予主题k的所有词嵌入数量；n_d，k表示文档d中被赋予主题k的词嵌入数量；n_d表示文档d的词嵌入数量；

S2：采用逆威沙特分布W^-1(Ψ，γ)求主题-词嵌入分布的方差∑_k、采用多元高斯分布N(μ＝0，∑_k)求主题-词嵌入分布的均值μ_k，采用狄利克雷分布Dir(α)求出文档-主题分布θ_d，对该文档下的每个词嵌入分配一个主题，采用多元高斯分布抽取文档d的每个位置的词嵌入，得到当前词嵌入的主编号；Ψ表示正定的比例矩阵；

S3：更新μ_k，γ_k，k_k，利用Cholesky矩阵分解计算矩阵Ψ_k，根据矩阵Ψ_k和方差∑_k计算后验预测概率分布；k_k表示逆威沙特分布的伪计数1；γ_k表示逆威沙特分布的伪计数2；

S4：采用Alias采样进行迭代采样，直到迭代结束，输出参数：文档-主题概率分布和主题-词嵌入概率分布。

2.根据权利要求1所述的基于词嵌入的高斯LDA的优化求解方法，其特征在于：所述S1的具体步骤如下：

S11：输入文档集D，通过分词且训练成词嵌入序列V_d；

S12：根据文档集D，设置迭代次数T、模型超参数α，γ；

S13：初始化统计量，为文档集D中每个词嵌入v随机赋予一个主题编号，即z＝randomtopic index k，k∈[1，...K]，每个文档d∈[1，...，D]，并将n_v，k，n_k，n_d，k，n_d初始化；k表示主题编号变量、K表示主题边界值；

其中：n_v，k表示词嵌入v被赋予主题k的数量；n_k表示被赋予主题k的所有词嵌入数量；n_d，k表示文档d中被赋予主题k的词嵌入数量；n_d表示文档d的词嵌入数量、α表示狄利克雷分布的超参数、γ表示逆威沙特分布的伪计数。

3.根据权利要求2所述的基于词嵌入的高斯LDA的优化求解方法，其特征在于：所述S2的具体步骤如下：

S21：采用逆威沙特分布W^-1(Ψ，γ)抽取主题-词嵌入分布的方差∑_k，并根据∑_k，采用多元高斯分布N(μ＝0，∑_k)中抽取主题-词嵌入分布的均值μ_k；

S22：对每个文档d＝[1，...，D]，采用狄利克雷分布Dir(α)分布中抽取文档-主题分布θ_d，在该文档下，每个词嵌入i∈[1，...，N_d]；N_d表示文档d的第N个词；

S23：对于文档d的每个位置的词嵌入i∈[1，...，N_d]分配一个主题z_d，i～Mult(θ_d)，采用多元高斯分布N(μ_k，∑_k)为该文档抽取词嵌入v_d，i；

S24：对文档中的每个词嵌入v_d，i，得到当前词嵌入的主题编号，t＝z_d，i；t表示词嵌入v_d，i的主题；Mult(θ_d)表示文档d的主题分布；

其中：v_d，i表示文档d中第i个词嵌入。