[发明专利]一种基于标准化流的全并行化文本生成方法

摘要

为了解决现有的采用序列到序列的框架的文本生成算法效率低的问题，本发明提出一种基于标准化流的全并行化文本生成方法，包括训练过程和应用过程，其特征在于，包括如下处理步骤：将标准答案输入编码器，编码器经过处理后输出中间隐层信息，中间隐层信息直接分别输入到标准化流模块和解码器中，标准化流模块在接收到中间隐层信息后会直接处理得到标准化流输出结果；将条件信息输入到条件信息模块，经过条件信息模块的处理后得到条件隐层信息，将条件隐层信息直接输入到解码器中，当解码器同时接收到条件隐层信息和中间隐层信息后，解码器对条件隐层信息和中间隐层信息进行注意力机制和非线性变换，然后得到解码器输出结果。

主权项

1.一种基于标准化流的全并行文本生成方法，包括训练过程和应用过程，其特征在于，包括如下处理步骤：/n训练过程：/nS1，将标准答案输入编码器，编码器经过处理后输出中间隐层信息，中间隐层信息直接分别输入到标准化流模块和解码器中，标准化流模块在接收到中间隐层信息后会直接处理得到标准化流输出结果；/nS2，将条件信息输入到条件信息模块，经过条件信息模块的处理后得到条件隐层信息，将条件隐层信息直接输入到解码器中，当解码器同时接收到条件隐层信息和中间隐层信息后，解码器对条件隐层信息和中间隐层信息进行注意力机制和非线性变换，然后得到解码器输出结果；/nS3，将标准化流输出结果与高斯白噪声做损失函数计算，损失函数采用KL散度；将解码器输出结果与标准答案做损失函数计算，损失函数采用交叉熵；/nS4，然后采用梯度下降法计算步骤S3中的两个损失函数的KL散度和交叉熵，这两个损失函数共同组成了变分自编码器的最低下界，使用梯度下降法将自分编码器的最低下界回传给标准化流模块和编码器，反向回传后会更新神经网络的参数；/nS5，在下一次训练的过程中，编码器使用跟更新过的网络参数进行计算，然后生成调整后的中间隐层信息，并将调整后的中间隐层信息输送给标准化流模块和解码器，标准化流模块会使用更新过的参数进行计算，从而获得新的标准化流模块输出结果；解码器接收条件信息模块输入的条件隐层信息和调整后的中间隐层信息，进行运算后得到解码器输出结果；接着重复S3-S4的步骤；/nS6,然后不断重复S5的步骤，直至当反向回传的KL散度和交叉熵在整个神经网络的最低下界低于某个固定阈值时，训练结束。/n应用过程：/nS7，将高斯白噪声输入到训练好的标准化流模块，得到标准化流输出信息，然后输送给解码器，解码器结合条件信息模块输入的条件隐层信息，对标准化流输出信息和条件隐层信息进行注意力机制和非线性变换，然后得到解码器输出结果。/n