[发明专利]基于seq2seq模型的结构化论点生成方法及系统

说明书

技术领域

本发明涉及文本生成技术领域，特别涉及一种基于seq2seq模型的结构化论点生成方法及系统。

背景技术

目前，自动写作是文本生成的一个重要的应用，议论文的分论点生成是自动写作的非常重要的环节，如何能够使分论点之间有强关联并且与主题相契合是文本生成技术面对的难题之一。

在相关技术中，文本生成是基于统计机器翻译的方法，基本思想是通过对大量的平行语料进行统计分析，构建统计翻译模型，进而使用此模型进行翻译。比如微软对联，设计了一个多阶段统计机器翻译方法，其中SMT(Statistical Machine Translation，统计机器翻译)系统生成一个n-最佳候选列表，然后使用一个排序模型和附加特性来确定新的n-best结果排名。另外，文本生成也使用RNN(Recurrent neural Network，循环神经网络)结构作为生成工具，比如中文诗歌生成，提出了一种基于递归神经网络的模型，并认为这种模型最适合捕捉诗歌的内容和形式。从早期基于词的机器翻译已经过渡到基于短语的翻译，并正在融合句法信息，以进一步提高翻译的精确性。还有人提出用深度学习的方法来解决这个问题，其基本思想是用一个深度神经网络结构，比如RNN或DNN(Deep Neural Network，深度神经网络)，对语料进行学习，从而达到翻译或者生成的目的。然而，相关技术的文本生成的准确性不高，生成的句子和句源的相关性和一致性较差，无法满足用户的使用需求。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于seq2seq模型的结构化论点生成方法，该方法不仅可以提高生成句子和句源的相关性和一致性，而且可以提高文本生成的准确性，进而提高模型的可靠性。

本发明的另一个目的在于提出一种基于seq2seq模型的结构化论点生成系统。

为达到上述目的，本发明一方面实施例提出了一种基于seq2seq模型的结构化论点生成方法，包括以下步骤：对数据进行预处理，以对seq2seq模型的输入建立句对；接收输入主题，并通过向量转换将词转换得到词向量；将所述词向量输入所述seq2seq模型的编码器中进行运算和编码，以得到语境向量，并且对所述语境向量采用注意力机制；通过所述seq2seq模型的解码器对经过注意力机制处理的语境向量进行解码，生成与所述输入主题相关的主分论点，并根据所述主分论点得到所述主分论点下面的多个次分论点。

本发明实施例的基于seq2seq模型的结构化论点生成方法，可以使用预训练的词向量代替原始模型的随机初始化的词向量，并在seq2seq模型中加入注意力机制，从而可以对输入的文本进行选择性的重点学习，不仅可以提高生成句子与句源的相关性和两者的一致性，而且可以提高文本生成的准确性，进而提高模型的可靠性。

另外，根据本发明上述实施例的基于seq2seq模型的结构化论点生成方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述编码器为第一循环神经网络RNN结构，所述RNN结构为神经网络在时间上的展开。

进一步地，在本发明的一个实施例中，所述对所述语境向量采用注意力机制，进一步包括：对所述语境向量乘以权重向量，其中，所述权重向量根据时间得到。

进一步地，在本发明的一个实施例中，所述解码器为第二RNN结构，其中，在结构的最后一层通过softmax函数生成在时间节点上的词的概率分布，并根据概率的大小选择所述时间节点上生成的词，从而根据生成的句子与源所对应的目标句子进行交叉熵的计算，并利用神经网络的反向传播机制，以调节网络的参数，完成网络的学习过程。

进一步地，在本发明的一个实施例中，还包括：对所述多个次分论点的每个次分论点进行评价，得到评价分；根据所述评价分计算每个句子的平均分和总平均分，以确定效果是否达到预期。

为达到上述目的，本发明另一方面实施例提出了一种基于seq2seq模型的结构化论点生成系统，包括：预处理模块，用于对数据进行预处理，以对seq2seq模型的输入建立句对；转换模块，用于接收输入主题，并通过向量转换将词转换得到词向量；编码模块，用于将所述词向量输入所述seq2seq模型的编码器中进行运算和编码，以得到语境向量，并且对所述语境向量采用注意力机制；解码模块，用于通过所述seq2seq模型的解码器对经过注意力机制处理的语境向量进行解码，生成与所述输入主题相关的主分论点，并根据所述主分论点得到所述主分论点下面的多个次分论点。