[发明专利]一种主题指导的文本预测方法

说明书

本发明公开了一种基于主题指导的文本预测方法，包括：获得每篇文章对应的词袋向量；根据文章的词袋向量，利用主题模型生成文章的主题特征向量；将文章中每个句子中每个词和相应的主题向量输入语言模型中，得到相应的每个词的时序特征向量；根据每个词的时序特征向量，通过归一化指数函数预测下一个词；利用随机梯度下降法对语言模型以及主题模型中的编码器的参数进行更新，同时利用自适应随机梯度马尔可夫链蒙特卡洛采样方法对主题模型中解码器的参数进行采样更新。该方法将多层主题模型与多层语言模型相结合，提取文本主题中层次化的语义特征以及层次化的时序信息，低层特征语义范围较小，高层特征语义范围更为广泛。

技术领域

本发明属于自然语言处理技术领域，具体涉及一种主题指导的文本预测方法。

背景技术

在自然语言处理领域中，文本预测近年来受到了广泛关注。语言模型对文本进行时序建模，能够捕捉到文本内部词与词之间的时序关系，从而实现自然语言处理中的各种任务，如文本总结、机器翻译、图像标注等。语言模型通常给定前一个单词，对后一个单词的发生概率进行估计，并选择预测概率最大的单词，这成为单步预测。给定一个起始符输入语言模型，将单步预测输出的单词作为下一个单步预测的输入，一直进行迭代直到终止符或达到足够长度，从而生成一个句子。但语言模型只关注到了文本内部时序信息，而忽略了文本的语义信息。

相反的，主题模型通常针对文本的词袋形式进行建模，只考虑文章中单词出现的次数而忽略文本内部词与词之间的时序关系。而多层的主题模型能够极大的提高对文本的建模能力，并得到更具有语义信息的特征向量。

因此，将主题模型与语言模型结合起来能够同时捕捉到文本的语义信息与时序信息，能够实现在文本主题指导下的语言时序建模。这种互补的结构能够提升主题模型的主题提取能力以及语言模型的预测能力，从而能够针对不同的主题生成相应的句子。

北京信息科技大学申请的专利“一种基于主题模型的HSK作文生成方法”(申请号：201811202083.7)中公开了一种作文生成方法，通过训练LDA主题模型，得到句子和文本、词语和文本的分布，并通过计算交叉熵，选择与主题关键词最相近的句子，然后生成文本，且自动生成的文本在连贯性和逻辑性上效果好，语法错误较少，错别字较少，能够很好地完成写作任务，可以很好地满足实际应用的需要。该方法使用最基本的单层LDA主题模型提取语义特征，同时对句子内部的时序信息提取不够充分，无法对文本进行有效的建模。

华南理工大学申请的专利“一种基于深度学习和主题模型的问答系统实现方法”(申请号：201810330697.7)中公开了一种基于深度学习和主题模型的问答系统实现方法，包括：首先将问句输入Twitter LDA主题模型获得问句的主题类型，并提取相应主题词，将输入问句和主题词表示为词向量；然后将输入问句的词向量输入RNN循环神经网络编码，获取问句的编码隐藏层状态向量；其次解码RNN循环神经网络使用联合注意力机制结合问句的局部和全局混合语义向量，进行解码生成词；之后使用大规模对话语料训练基于编码解码框架的深度学习主题问答模型；最终利用训练的问答模型预测输入问句的答案，生成与问句主题相关的答案。该方法将主题语义信息输入问答系统，弥补了问答模型外源知识的缺失，增加回答的丰富性和多样性，但是单层主题模型没有多层主题模型提取的语义信息完备，无法得到层次化的语义特征。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种主题指导的文本预测方法。本发明以主题模型为指导，对文章进行主题建模，在每篇文章的主题指导下对句子内部单词进行语言建模，对单词进行单步预测。

实现本发明目的的具体思路是，在主题模型的语义特征指导下，对文本进行单步预测，利用主题模型的似然函数与文本预测的误差函数作为目标函数，更新主题模型和语言模型的网络参数，从而能够在主题指导下生成相应文本。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于主题指导的文本预测方法，包括：

S1：获得每篇文章对应的词袋向量；