[发明专利]一种基于Cycle-Seq2Seq的开放域对话生成方法

权利要求书

1.一种基于Cycle-Seq2Seq的开放域对话生成方法，其特征在于，所述方法包括：

基于正向任务input-to-response和反向任务response-to-input建立Cycle-Seq2Seq模型，所述正向任务input-to-response和反向任务response-to-input都使用一个NCG模型去完成对应的任务目标，所述NCG模型为开放域对话生成模型，正向任务input-to-response对应的NCG模型任务目标为根据用户的输入生成相应的回复，反向任务response-to-input对应的NCG模型任务目标为根据问答的回复生成可能的用户输入；

对正向任务和反向任务迭代进行联合训练，共同优化联合任务的目标，每次迭代通过模型更新优化生成更准确的input-to-response句子和response-to-input句子，在联合训练过程中通过交替迭代生成质量更高的训练数据；

对正向任务和反向任务迭代进行联合训练，具体包括：

使用成对对话数据集对正向任务和反向任务的NCG模型进行预训练，通过最大似然估计进行模型的参数学习，得到两个训练好的NCG模型，正向任务NCG模型表示为G_x→y，反向任务NCG模型表示为G_y→x，成对对话数据集表示为D＝{x⁽ⁿ⁾,y⁽ⁿ⁾}，其中x为输入语句，y为回复语句；

添加未成对对话数据集进行正向任务NCG模型和反向任务NCG模型的联合训练，所述未成对对话数据集包括输入语句集合X＝{x^(t)}和回复语句集合Y＝{y^(m)}，将未成对对话数据集输入到正向任务NCG模型和反向任务NCG模型中，通过多次迭代方式进行不断的对话生成更新，同时不断更新G_x→y和G_y→x的模型参数以优化模型，其中t为变量，其取值范围为[1,T]，T表示输入语句集合X的语料数量；m为变量，其取值范围为[1,M]，M表示回复语句集合Y的语料数量。

2.根据权利要求1所述的一种基于Cycle-Seq2Seq的开放域对话生成方法，其特征在于，所述添加未成对对话数据集进行正向任务NCG模型和反向任务NCG模型的联合训练，具体包括：

在初次迭代中，使用两个预训练好的NCG模型分别对输入语句集合和回复语句集合生成相应的成对对话数据，数据更新后，再使用更新的训练数据分别对G_x→y和G_y→x进行训练，更新模型参数，得到更新后的模型和完成初次迭代，更新的训练数据包括成对对话数据集D、合成的训练数据集X'和Y'；

在后续迭代中，重复初次迭代的操作，每次迭代使用的更新的合成的训练数据集是通过上一次迭代中更新的模型和分别生成的新的训练数据，直至整个联合训练的模型达到收敛后停止迭代，i为当前迭代代数。

3.根据权利要求1或2所述的一种基于Cycle-Seq2Seq的开放域对话生成方法，其特征在于，正向任务NCG模型和反向任务NCG模型的目标是最大化数据源的似然率，Cycle-Seq2Seq模型的整体联合训练目标为正向任务和反向任务的似然估计的总和，其目标函数如下：

L(θ)＝L^*(θ_x→y)+L^*(θ_y→x)。