[发明专利]一种基于Cycle-Seq2Seq的开放域对话生成方法

说明书

本发明提供一种基于Cycle‑Seq2Seq的开放域对话生成方法，该方法包括：基于正向任务input‑to‑response和反向任务response‑to‑input建立Cycle‑Seq2Seq模型，所述正向任务input‑to‑response和反向任务response‑to‑input都使用一个NCG模型去完成对应的任务目标，正向任务input‑to‑response对应的NCG模型任务目标为根据用户的输入生成相应的回复，反向任务response‑to‑input对应的NCG模型任务目标为根据问答的回复生成可能的用户输入；对正向任务和反向任务迭代进行联合训练，共同优化联合任务的目标，每次迭代通过模型更新优化生成更准确的input‑to‑response句子和response‑to‑input句子，在联合训练过程中通过交替迭代生成质量更高的训练数据。所述方法使用较少的语料就能够训练出性能较高的模型，生成的对话内容关联性强。

技术领域

本发明涉及开放域聊天技术领域，尤其涉及一种基于Cycle-Seq2Seq的开放域对话生成方法。

背景技术

近年来，随着互联网和社交媒体的快速发展,开放域聊天机器人在生活中发挥着广泛作用。它不仅可以解决用户的交流需求，也能降低企业为用户提供服务的成本。因此，研究开放域对话生成具有一定意义，也是当下的热点研究之一。

开放域对话生成任务的主要目标是在开放域对话过程中,根据提问者的问题给出合适的回复。目前，针对该任务的主流解决方案是基于神经网络的开放域对话生成模型(Neural Conversation Generation Model,NCG)，其中，现有的Seq2Seq模型取得了较好的效果，但仍然存在以下问题：

1.模型采用最大似然估计(Maximum Likelihood Estimation,MLE)生成回复，导致生成的回复常常包含大量无意义的安全回复，例如：“我不知道(I don't know)”，“对不起(Sorry)”,“没事(Nothing)”等万能答案；

2.仅使用seq2seq模型生成的回答，通常是与问题关联性弱且非常低效愚笨，容易导致对话的多样性和持续性极大程度地缺失；

3.为了尽可能满足开放域的内容覆盖需求以及对话生成的多样性，需要大量的开放域对话训练语料，导致词表过大，增加模型训练难度以及模型对话准确性等其他方面的效果。

发明内容

本发明的目的在于提供一种基于Cycle-Seq2Seq的开放域对话生成方法，通过基于多任务联合训练的完全基于数据驱动的Cycle-Seq2Seq模型来生成对话内容强关联的回复，以克服或至少部分解决现有技术所存在的上述问题。

本发明第一方面提供一种基于Cycle-Seq2Seq的开放域对话生成方法，所述方法包括：

基于正向任务input-to-response和反向任务response-to-input建立Cycle-Seq2Seq模型，所述正向任务input-to-response和反向任务response-to-input都使用一个NCG模型去完成对应的任务目标，正向任务input-to-response对应的NCG模型任务目标为根据用户的输入生成相应的回复，反向任务response-to-input对应的NCG模型任务目标为根据问答的回复生成可能的用户输入；

对正向任务和反向任务迭代进行联合训练，共同优化联合任务的目标，每次迭代通过模型更新优化生成更准确的input-to-response句子和response-to-input句子，在联合训练过程中通过交替迭代生成质量更高的训练数据。

进一步的，对正向任务和反向任务迭代进行联合训练，具体包括：