[发明专利]一种基于对抗性互信息的文本生成方法

说明书

本发明公开了一种基于对抗性互信息的文本生成方法，包括：(1)预训练前向模型和后向模型；(2)将源文本输入前向模型，生成目标文本；(3)以生成的目标文本为后向模型的输入，生成伪源文本；(4)以原目标函数为后向模型的输入，生成另一个伪源文本；(5)构造训练的目标函数，训练目标为：最大化利用原目标文本生成源文本的概率，利用源文本生成原目标文本的概率，和能生成使得后向模型生成源文本的伪目标文本的概率；同时最小化利用伪目标文本生成源文本的概率；(6)重复步骤(2)～(5)，直到目标函数收敛。本发明将最大化互信息算法改进为对抗性互信息，训练完毕后，最终提升生成文本的准确率。

技术领域

本发明属于自然语言处理领域，尤其是涉及一种基于对抗性互信息的文本生成方法。

背景技术

一直以来，文本生成问题都是自然语言处理中最为热门和棘手的问题之一。现有的方法可以利用神经网络序列到序列模型来自回归的生成词句，并得到了广泛的应用。一个高效的文本生成模型可以在以自然语言为基础的众多领域得到广泛应用，如对话机器人，机器翻译，文本摘要，新闻生成等。

现有的大部分方法都是用极大似然函数作为目标函数来训练，这使得生成的文本存在很多高频通用词句，导致缺乏多样性及信息量。最近，利用互信息作为目标函数来提升文本生成的质量得到了广泛关注。比如2016年发表在国际顶级机器学习理论会议Conference of the North American Chapter of the Association for ComputationalLinguistics上的《A diversity-promoting objective function for neuralconversation models》在第4页到第6页公布了一种最大化互信息的文本生成算法；2017年发表在国际顶级人工智能会议Advances in Neural Information Processing Systems上的《Generating informative and diverse conversational responses viaadversarial information maximization.》在第2页到第4页公布了一种利用对抗生成网络和最大化互信息联合的对话生成算法；2017年发表在国际顶级计算神经理论会议AnnualMeeting of the Association for Computational Linguistics上的《Jointly learningsemantic parser and natural language generator via dual informationmaximization》在第3页到第5页公布了一种利用对偶性最大化互信息作为目标函数的文本生成算法。

当前利用互信息的文本生成算法都是在讲互信息转化为变分极小界后进行统一最大化，即将前向模型和后向模型于同一方向优化。这种优化方法使得后向模型在输入不保证为高质量文本的情况下被优化至偏离原数据集的分布，导致对前向文本的优化也受影响。

发明内容

为解决现有技术存在的上述问题，本发明提供了一种基于对抗性互信息的文本生成方法，使得最终生成的文本具有更高的准确率，更接近真实目标文本。

一种基于对抗性互信息的文本生成方法，其特征在于，包括以下步骤：

(1)构造并预训练前向模型P_f和后向模型P_b；所述的前向模型和后向模型均包括编码器和解码器，当输入文本后，利用编码器生成一个高维语义向量，然后利用解码器将输入文本和语义向量一起解码为目标文本；

(2)构造训练集数据集，数据集包含源文本和对应的原目标文本；