[发明专利]一种基于词嵌入的高斯LDA的优化求解方式

说明书

本发明公开了一种基于词嵌入的高斯LDA的优化求解方法，该方法如下：输入文档集D，设置迭代次数T、模型超参数α，γ，初始化n_v,k，n_k，n_d,k，n_d；用逆沙威特分布W^‑1(Ψ,γ)求主题‑词嵌入分布的方差Σ_k、用多元高斯分布N(μ＝0,Σ_k)求主题‑词嵌入分布的均值μ_k，用狄利克雷分布Dir(α)求出文档‑主题分布θ_d，对该文档下的每个词嵌入分配一个主题，用多元高斯分布抽取该位置的词嵌入，得到当前词嵌入的主编号；更新μ_k，γ_k，k_k，利用Cholesky矩阵分解计算矩阵Ψ_k，根据矩阵Ψ_k和方差Σ_k计算后验预测概率分布；采用Alias采样进行迭代采样，直到迭代结束，输出文档‑主题概率分布和主题‑词嵌入概率分布。本发明能在不失精确度的情况下，提高计算速度和采样速度，进而提高自然语言处理效率。

技术领域

本发明涉及自然语言领域，更具体地，涉及一种基于词嵌入的高斯LDA的优化求解方式。

背景技术

随着互联网技术的普及，社交媒体、门户网站和单位机关每天都有海量的文本数据产生。这些未经处理的文本数据中存在许多有益、重要的信息，却也存在大量的干扰信息，使得用户难以从中得到自己想要的信息。如果能够对文本进行更高级的抽象化，用户就能更高效的获取所需的文本信息。对文本数据进行抽象化处理的过程可以描述为自然语言处理中的语义分析，其中常用的语义分析手段是文本聚类。文本聚类是文本分析十分重要的技术，其能够将数量巨大的非机构化文本数据进行总结和一定程度地归类，从而帮助用户更便捷地获取主要信息。文本聚类在语义分析，情感分析，文本分类、舆情分析和个性化推荐等领域有广泛应用。

在文本分析过程中，传统的特征提取方法主要有文档词频、卡方、互信息、信息增益等。这些方法的一个共同特点是基于词频，并且采用的是一元语法模型，即假设词之间是独立同分布的，通过计算词项与类型之间存在的关系，对特征词进行提取，达到对文本进行总结的目的。

主题模型也是文本聚类的一种，经常用于自动抽象化海量文本的特征，发掘文本中潜在的语义，将文本语料从词空间映射到主题空间，得到每个文本的主题概率分布，使文本具有更好的解释性。LDA模型的优点是能够很好的处理传统方法无法解决的多义词和同义词等问题。虽然LDA主题模型有很好的解释性，但是其模型基础依旧是词袋模型，即分析过程中，词与词之间是独立存在的。

词嵌入是近年用来做文本分析比较常用的表示方法，通过神经网络训练，将每个是离散变量的词训练成连续变量，即每个词都由一个向量表示，称之为词嵌入。由于词嵌入的每个维度都刻画了词本身的特征属性，于是词嵌入能够很好地表达词语的语义。因为使用的模型本身对词频的敏感度较低，因此也具有较好的泛化能力。但现有技术采用LDA+W2V技术，使用LDA来解释词嵌入等式的每一个偏移权加项，让词嵌入有了更好的解释性。LDA+W2V存在的变化主要是，原本在离散空间的主题-词嵌入的多项式分布，变为连续空间的多元高斯分布。导致其在海量文本数据下，其存在计算时间长，处理效率低下。且传统Gibbs采样处理方法存在在采样初始阶段，更新速度慢的问题。每次更新都需要重新计算参数，或者新的采样接收旧样本，使得全局参数的更新速度缓慢。虽然在迭代一定量次数之后更新速度会有所改善，但是实验证明，采样初期的上千次采样结果，因为效率低下，通常被实验者弃用。

发明内容

本发明为了解决传统的自然语言处理计算时间长，处理效率低下的问题，提供了一种基于词嵌入的高斯LDA的优化求解方法，其能在采样初始阶段样本的加快更新速度、提高计算速度。

为实现上述本发明目的，采用的技术方案如下：一种基于词嵌入的高斯LDA的优化求解方法，所述该优化求解方法的步骤如下：