[发明专利]一种主题指导的文本预测方法

权利要求书

1.一种基于主题指导的文本预测方法，其特征在于，包括：

S1：获得每篇文章对应的词袋向量；

所述S1包括：

将M篇文章{D₁,D₂,...D_m,...,D_M}分别表示为对应的词袋向量d₁,d₂,...,d_m,...,d_M，其中d_m∈R^1×V表示词汇表中每个词在第m篇文章中出现的次数，V表示字典维度；

S2：根据所述文章的词袋向量，利用主题模型生成所述文章的主题特征向量；

所述S2包括：

将所述词袋向量d₁,d₂,...,d_m,...,d_M依次输入L层的主题模型中，分别得到对应的语义特征向量θ₁,θ₂,...,θ_m,...,θ_M，其中θ_m＝{θ_m⁽¹⁾,θ_m⁽²⁾,...,θ_m^(L)},m∈1:M表示第m篇文章的语义特征向量；

S3：将所述文章中每个句子中每个词和相应的主题向量输入语言模型中，得到相应的每个词的时序特征向量；

所述S3包括：

将所述文章D_m中的句子{s₁,s₂,...,s_j,...,s_J}及文章D_m的语义特征向量{θ⁽¹⁾,θ⁽²⁾,...,θ^(L)}依次输入语言模型；

将每个句子表示为T_j表示第j个句子包含词的个数，输入的第一个词为起始符，预测得到s_j的第一个词y_j1，再输入第一个词y_j1预测得到第二个词y_j2，依此类推直至输出最后一个词将第j个句子的第t个词y_jt分别输入语言模型，得到的语言模型的各层隐变量分别记为其中，所述语言模型具体表示如下：

其中，z_t^(l)表示第t个时刻第l层的隐单元，h_t^(l)表示第t个时刻第l层的长短时记忆网络LSTM的隐单元，θ^(l)表示该单词所在文章对应的第l层的语义特征向量，即第l层的隐变量，z_t^(l-1)表示第t个时刻第l-1层的隐单元，h_t-1^(l)表示第t-1个时刻第l层的LSTM隐单元，LSTM^(l)表示第l层的LSTM网络，GRU^(l)表示门控循环单元的网络，用于将语义特征向量加入语言模型中指导词的生成；

S4：根据每个词的时序特征向量，通过归一化指数函数预测下一个词；

所述S4包括：

将语言模型各隐层拼接起来得到z_t，其中表示输入词的时序特征向量，r_l为第l层隐变量的维度；

在所述语言模型中将时序特征向量输入归一化指数函数层，得到V维的概率分布向量；

选择所述概率分布向量中值最大的位置在单词表中所对应的单词为最终单步预测的输出结果，目标输出结果为当前输入词的下一个词；

S5：利用随机梯度下降法对所述语言模型以及主题模型中的编码器的参数进行更新，同时利用自适应随机梯度马尔可夫链蒙特卡洛采样方法对所述主题模型中解码器的参数进行采样更新。