[发明专利]一种基于标准化流的全并行化文本生成方法

说明书

为了解决现有的采用序列到序列的框架的文本生成算法效率低的问题，本发明提出一种基于标准化流的全并行化文本生成方法，包括训练过程和应用过程，其特征在于，包括如下处理步骤：将标准答案输入编码器，编码器经过处理后输出中间隐层信息，中间隐层信息直接分别输入到标准化流模块和解码器中，标准化流模块在接收到中间隐层信息后会直接处理得到标准化流输出结果；将条件信息输入到条件信息模块，经过条件信息模块的处理后得到条件隐层信息，将条件隐层信息直接输入到解码器中，当解码器同时接收到条件隐层信息和中间隐层信息后，解码器对条件隐层信息和中间隐层信息进行注意力机制和非线性变换，然后得到解码器输出结果。

技术领域

本发明涉及自然语言处理技术领域，较为具体的，涉及到一种基于标准化流的全并行化文本生成方法，其可以应用于文章标题生成、自动化摘要、新闻生成、机器翻译、以及问答方法生成等方向。

背景技术

随着技术的发展，信息的传递不但越来越频繁，而且也越来越多元化。人们对于文本生成算法的时速性能要求越来越高，这样可以更好的应用在机器翻译、机器生成新闻等技术领域，所以机器自动生成文本成为了未来不可避免的科技发展趋势。

现有的文本生成算法采用序列到序列(seq2seq)的框架，其包括编码器(encoder)和解码器(decoder)两个部分，解码器(decoder)采用自回归式的解码器，即需要将前一个字或词输入到方法后，得到后一个字，如此往复得到整个句子以及段落，采用这种序列到序列(seq2seq)的框架，只能在较短的句子或者文章生成时满足实时要求，对于大篇幅的文章生成上，则完全达不到要求。

标准化流是一种全新的密度估计方式，其原理是通过多步跳转，将一种分布向目标分布转换的过程，由于手动设计的高斯噪声具有独立性，其能够打破序列到序列(seq2seq)框架中的解码器(decoder)原有的自回归的限定，可以使得文字序列生成并行化。

有鉴于此，迫切需要提出一种新的文本生成方法，并且能够将标准化流的方法应用在其中，这样可以实现所有文字序列化并行生成，能够大大提升文本生成的效率，实现大规模生成文字的效果，可以适用于大篇幅的文章生成。

发明内容

有鉴于此，为了解决现有的采用序列到序列(seq2seq)的框架的文本生成算法效率低的问题，本发明提出一种基于标准化流的全并行化文本生成方法，其通过标准化流模块的可逆特性，将编码器的输入转化为高斯白噪声，然后通过高斯白噪声的输入取代编码器的输入，这样使得编码器也可以不再使用自回归式的编码器，其在生成文字序列时，解码器(decoder)不再受到自回归的约束，在时间维度上可以并行生成文字，使得文本生成的效率大大提升。

一种基于标准化流的全并行文本生成方法，包括训练过程和应用过程，其特征在于，包括如下处理步骤：

训练过程：

S1，将标准答案输入编码器，编码器经过处理后输出中间隐层信息，中间隐层信息直接分别输入到标准化流模块和解码器中，标准化流模块在接收到中间隐层信息后会直接处理得到标准化流输出结果；

S2，将条件信息输入到条件信息模块，经过条件信息模块的处理后得到条件隐层信息，将条件隐层信息直接输入到解码器中，当解码器同时接收到条件隐层信息和中间隐层信息后，解码器对条件隐层信息和中间隐层信息进行注意力机制和非线性变换，然后得到解码器输出结果；