[发明专利]一种基于对抗性互信息的文本生成方法

权利要求书

1.一种基于对抗性互信息的文本生成方法，其特征在于，包括以下步骤：

(1)构造并预训练前向模型P_f和后向模型P_b；所述的前向模型和后向模型均包括编码器和解码器，当输入文本后，利用编码器生成一个高维语义向量，然后利用解码器将输入文本和语义向量一起解码为目标文本；

(2)构造训练集数据集，数据集包含源文本和对应的原目标文本；

(3)训练过程中，将训练集的源文本S输入前向模型P_f，生成目标文本T′，此过程优化函数为P_f(T|S)；以生成的目标文本T′作为后向模型P_b的输入，生成伪源文本，此过程优化函数为P_b(S|T′)；以训练集中的原目标文本T作为后向模型P_b的输入，生成另一个伪源文本，此过程优化函数为P_b(S|T)；

(4)构建训练的目标函数，目标函数为：

其中，为生成目标文本的期望；训练目标为：最大化利用原目标文本生成源文本的概率P_b(S|T)，利用源文本生成原目标文本的概率P_f(T|S)，和能生成使得后向模型生成源文本的伪目标文本的概率P_f(T′|S)；同时最小化利用伪目标文本生成源文本的概率P_b(S|T′)；

(5)重复步骤(2)～(4)，迭代训练，直到目标函数收敛；

(6)训练完毕，进行文本生成的应用，往前向模型P_f中输入文本，生成与输入文本对应的目标文本。

2.根据权利要求1所述的基于对抗性互信息的文本生成方法，其特征在于，步骤(1)中，所述的前向模型和后向模型采用两种不同的序列生成模型，所述的序列生成模型为序列到序列模型和Transformer模型；对于序列到序列模型，编码器和解码器基于循环神经网络或卷积神经网络；对于Transformer模型，编码器和解码器基于多层自注意力机制和点积全连接网络。

3.根据权利要求1所述的基于对抗性互信息的文本生成方法，其特征在于，步骤(1)中，所述的前向模型和后向模型的目标函数都是交叉熵损失函数，公式为

T′＝arg max P(T|S)

式中，P(T|S)表示利用源文本生成原目标文本的概率。

4.根据权利要求1所述的基于对抗性互信息的文本生成方法，其特征在于，步骤(3)中，源文本S输入前向模型时使用词向量Glove进行词嵌入。

5.根据权利要求1所述的基于对抗性互信息的文本生成方法，其特征在于，步骤(3)中，生成的目标文本T′输入后向模型时使用词向量Glove进行词嵌入。

6.根据权利要求1所述的基于对抗性互信息的文本生成方法，其特征在于，步骤(3)中，原目标文本T输入后向模型时使用词向量Glove进行词嵌入。