[发明专利]一种通用主题嵌入模型联合训练方法

权利要求书

1.一种通用主题嵌入模型联合训练方法，包括以下步骤：

(1)使用查表法预先计算sigmoid和softmax函数值；

(2)扫描语料，统计文档中出现的每个单词的频数；

(3)初始化网络结构，首先初始化主题模型的参数：文档主题分布矩阵Θ和主题单词分布矩阵Φ，然后初始化嵌入模型的参数：所有单词的词向量矩阵V、上下文向量矩阵U、所有主题的主题向量矩阵Y、所有文档的文本向量矩阵G；

(4)对主题模型和嵌入模型联合建模得到组合模型HieraVec，目标函数为一个带正则化项的主题模型中词w生成概率与嵌入模型中词w生成概率联立得到的，因此，给定一个文档集合D，单词集合W，主题模型的参数集为Ψ，嵌入模型的参数集为Ω，则对数似然函数L为：

式中，P_t(w|d，Ψ)是基于参数空间为Ψ的主题模型中，文档d中生成词w的概率，而P_e(w|C_w,Ω)为上下文词集合为C_w，参数空间为Ω的嵌入模型产生同样的单词w的概率；θ_d为主题模型中的文档主题概率分布，m_d为通过嵌入模型计算得到的相对应的文档主题模拟分布；同样的，φ_t为主题模型中的主题词概率分布，m_t为通过嵌入模型计算得到的相对应的主题词模拟分布；D_α(p||q)是概率分布p与q的Rényi散度，η和μ是超参数，η和μ的值为实数；

式1是一个通用抽象的算法框架，依赖于所选择的具体主题模型和嵌入模型来决定Ψ和Ω详细的参数以及θ_d，φ_t，C_w，m_d和m_t的计算方式；选择具体的两种模型pLSA和PV-DBOW为组件模型，从而提出组合模型HieraVecPD；设置HieraVecPD的的Rényi散度的α为0.5，使用对应向量点积的softmax函数为模拟分布m_dt和m_tw，HierVecPD的目标函数为：

式中，v，u代表对应的V，U矩阵的行向量，c为上下文词；与式1对应，主题模型的参数集Ψ＝{Θ，Φ}，嵌入模型的参数集Ω＝{V,U,G,Y}；

将式1分成四个部分，得到对应部分的具体含义：

第一部分是L_T＝∑_d∑_wln∑_tθ_dtφ_tw，这是标准的主题模型的对数似然函数；

第二部分是L_E＝∑_d∑_wln P_e(w|C_w,Ω)，这是标准的嵌入模型的对数似然函数；

第三部分是R_D＝-η∑_dD_α(m_d||θ_d)，这是一个正则化项，最大化m_d和θ_d之间的相似性；第四部分是R_W＝-μ∑_dD_α(m_t||φ_t)，这是一个正则化项，最大化m_t和φ_t之间的相似性。

2.根据权利要求1所述一种通用主题嵌入模型联合训练方法，其特征在于：模型的训练过程采用旋转优化的方式，根据不同部分参数的特性，引进三阶段训练方法，针对式2的目标函数，设计一个旋转优化方法三阶段参数训练模式来迭代优化参数：每个阶段优化一部分参数，而固定其他的参数不变，在不同的阶段使用不同的参数学习方法；第一阶段采用期望最大化算法来更新主题模型参数；第二阶段采用随机梯度下降算法来更新嵌入模型参数；第三阶段利用完全梯度下降算法来更新正则化项参数。