[发明专利]一种基于主题的文本自动生成方法

权利要求书

1.一种基于主题的文本自动生成方法，其特征在于，包括如下步骤：

1)获取语料库，并对语料库中语句进行预处理，提取经预处理后语句的主题词及词向量；

2)构建文本生成模型，并输入步骤1)获取的词向量进行模型参数的训练；

3)输入待生成文本，提取待生成文本的主题词，并获取其词向量，将主题词词向量输入至步骤2)中经参数训练后的文本生成模型中生成新文本。

2.根据权利要求1所述的一种基于主题的文本自动生成方法，其特征在于，所述步骤1)通过TFIDF方法来提取语句的主题词，并通过开源的python库gensim来训练主题词的词向量。

3.根据权利要求1所述的基于主题的文本自动生成方法，其特征在于，所述步骤1)中语句预处理包括：统一标点符号和将英文、数字和表情符号去掉。

4.根据权利要求1所述的基于主题的文本自动生成方法，其特征在于，所述步骤2)具体包括：

1)输入共享向量C_t＝{C₀，C₁，...}，随着t的变化在不断变化，模型训练之前C_t被随机初始化为K维向量，K为步骤1)中随机抽取的主题词向量的数目，且每一维度的初始值为1，即C₀＝[c_0，1，c_0，2，...c_0，K]＝[1.0，1.0，1.0，1.0，1.0，...]，在生成一个新的单词时，第t个向量的第j个分量c_t，j由如下公式计算而来：

c_t，j＝c_t-1，j-α_tj

2)主题表示T_t由随着每一步文本的生成而更新，对于每一个时刻t，T_t由以下公式计算而来：

其中topic_j是主题词j的词向量，即在时刻t的注意力得分，而α_tj和g_tj由以下公式表示：

g_tj＝v_a^Ttanh(W_ah_t-1+U_atopic_j)

其中α_tj是主题词向量i在时刻t的注意力权重得分，va、Wa以及Ua是LSTM中带训练的参数矩阵，g_tj是主题词向量j在时刻t的注意力得分；因此，下一个单词y_t的概率分布可以如下定义：

P(y_t|y_t-1，T_t，C_t)＝softmax(g(h_t))

每次生成之前，ht由以下公式来更新：

h_t＝f(h_t-1，y_t-1)

其中函数g是一个线性函数，而函数f是有LSTM结构决定的激活函数，sofmax为计算概率的激励函数，模型P(y_t|y_t-1，T_t，C_t)＝softmax(g(h_t))维护一个共享向量，该向量的每一维表示某个主题词向量将来需要在生成的文本中出现的概率，共享向量可以提高生成文本的主题完整性以及可读性，同时将注意力机制添加到LSTM模型中，注意力机制可以为生成的文本与每个主题词向量计算语义相关性，同时自动选择相关的主题来引导模型生成文本。