[发明专利]一种通用主题嵌入模型联合训练方法

摘要

本发明公开了一种通用的主题嵌入模型联合训练方法，包括以下步骤：第一步对输入的原始文档语料进行预处理得到目标文本；第二步对目标文本构建词汇表；第三步初始化网络结构，对模型的参数矩阵进行初始化，并构建负采样表；第四步对主题嵌入模型联合建模、分多次迭代训练模型。每一次迭代过程分为以下三步：第一步，采用期望最大化算法训练主题模型部分；第二步，采用随机梯度下降算法训练嵌入模型部分；第三步，采用完全梯度下降算法训练正则化项部分。本发明可提供一种通用的方式将主题模型与嵌入模型联合训练，解决现有的模型组合方式过于依赖特有模型、通用性不足，很难同时提升两种模型等问题。

主权项

1.一种通用主题嵌入模型联合训练方法，包括以下步骤：(1)使用查表法预先计算sigmoid和softmax函数值；(2)扫描语料，统计文档中出现的每个单词的频数；(3)初始化网络结构，首先初始化主题模型的参数：文档主题分布矩阵Θ和主题单词分布矩阵Φ，然后初始化嵌入模型的参数：所有单词的词向量矩阵V、上下文向量矩阵U、所有主题的主题向量矩阵Y、所有文档的文本向量矩阵G；(4)对主题模型和嵌入模型联合建模得到组合模型HieraVec，目标函数为一个带正则化项的主题模型中词w生成概率与嵌入模型中词w生成概率联立得到的，因此，给定一个文档集合D，单词集合W，主题模型的参数集为Ψ，嵌入模型的参数集为Ω，则对数似然函数L为：式中，P_t(w|d，Ψ)是基于参数空间为Ψ的主题模型中，文档d中生成词w的概率，而P_e(w|C_w,Ω)为上下文词集合为C_w，参数空间为Ω的嵌入模型产生同样的单词w的概率；θ_d为主题模型中的文档主题概率分布，m_d为通过嵌入模型计算得到的相对应的文档主题模拟分布；同样的，φ_t为主题模型中的主题词概率分布，m_t为通过嵌入模型计算得到的相对应的主题词模拟分布；D_α(p||q)是概率分布p与q的Rényi散度，η和μ是超参数，η和μ的值为实数；式1是一个通用抽象的算法框架，依赖于所选择的具体主题模型和嵌入模型来决定Ψ和Ω详细的参数以及θ_d，φ_t，C_w，m_d和m_t的计算方式；选择具体的两种模型pLSA和PV‑DBOW为组件模型，从而提出组合模型HieraVecPD；设置HieraVecPD的的Rényi散度的α为0.5，使用对应向量点积的softmax函数为模拟分布m_dt和m_tw，HierVecPD的目标函数为：式中，v，u代表对应的V，U矩阵的行向量，c为上下文词；与式1对应，主题模型的参数集Ψ＝{Θ，Φ}，嵌入模型的参数集Ω＝{V,U,G,Y}；将式1分成四个部分，得到对应部分的具体含义：第一部分是L_T＝∑_d∑_wln∑_tθ_dtφ_tw，这是标准的主题模型的对数似然函数；第二部分是L_E＝∑_d∑_wln P_e(w|C_w,Ω)，这是标准的嵌入模型的对数似然函数；第三部分是R_D＝‑η∑_dD_α(m_d||θ_d)，这是一个正则化项，最大化m_d和θ_d之间的相似性；第四部分是R_W＝‑μ∑_dD_α(m_t||φ_t)，这是一个正则化项，最大化m_t和φ_t之间的相似性。