[发明专利]基于交互式解码的双语情感对话生成系统

说明书

本发明涉及一种交互式解码的双语情感对话生成系统。本发明采用多语种信息互补，可以生成高质量的情感回复。以往的情感对话生成模型都是使用单语料进行训练和测试，本发明使用双语料(中文和英文)来训练和测试模型，在生成情感回复的过程中，中文解码器和英文解码器通过内部、外部交互机制进行信息的互补。其中，内部交互借助语言之间冗余信息的辅助作用，挖掘不同语种回答之间的动态上下文信息，利用更充足的信息生成回复，从而降低困惑度，提高回答内容的质量，生成高质量的情感回复；外部交互在充分考虑另一解码器的上下文信息后，通过类型选择器来选择生成情感单词或者普通单词，平衡了回复的语法合理性和情感自然性。

技术领域

本发明实施例涉及语言处理技术领域，具体涉及一种基于交互式解码的双语情感对话生成系统。

背景技术

目前，人机对话系统的应用范围越来越广。例如，在医疗领域，对话系统可以更便捷地为患者和消费者提供健康信息服务；在电子商务领域，面向任务的对话系统能协助客户完成网上购物。

随着情感在提高会话质量上的重要性的凸显，情感对话生成领域逐渐引起了人们的注意。研究者发现在对话过程中引入情感因素更能提升用户的体验感。为了让对话系统更加智能、生成的回复能更全面地满足人们需求，引入情感是必不可少的。因此，在对话生成过程中合理地引入情感因素，并生成高质量的文本内容是提高人机对话体验的关键，也是实现真正自然的人机交互的必经之路。

通过增加回复的多样性、引入外部知识库等方法可以提高生成回复的文本质量。然而，情感对话生成的一个难点在于如何以一种自然的、连贯的方式表达情感。

目前已提出的对话系统包括：1)通过预测情感关键词和主题关键词来指导回答的生成，增强主题相关度和情感相关度；2)通过引入情感编辑机制去生成高质量的情感回复；3)通过一种基于Transformer机制的多维度生成网络，使用贝叶斯深度学习，提升情感对话生成模型的多样性。

以上对话生成模型虽然注意到情感因素在对话系统中的重要性，但取得的效果却不尽人意，不能够很好的挖掘对话内容中的情感要素，生成的回答情感强度不可控、不细致，难以充分发挥情感在对话中的作用，生成的句子显得十分生硬和呆板。因此，目前已提出的对话系统有待改进。

发明内容

本发明实施例提供了一种基于交互式解码的双语情感对话生成系统，用以解决上述至少一个技术问题。

本发明实施例提供一种基于交互式解码的双语情感对话生成系统，包括：一个编码器和两个解码器；

所述编码器包括6个相同的网络块，每个网络块由2个子层组成，分别是Multi-HeadAttention层和FeedForward层，每个网络块的内部结构和Transformer相同；所述编码器的输出同时传递给所述两个解码器；

所述两个解码器分别为中文解码器和英文解码器，所述两个解码器的结构相同，每个解码器包括6个相同的网络块，每个网络块由3个子层组成，分别是MaskedMulti-HeadAttention层、Multi-Head Attention 层以及FeedForward层，每个网络块的内部结构和Transformer相同，每个解码器的输入由三部分组成：已生成的子句、所述编码器的输出和来自另一解码器的上下文信息；所述两个解码器之间通过内部交互和外部交互来传递信息，并行生成原语言的情感回复和辅助语言的情感回复，其中，中文回复为原语言的情感回复，英文回复为辅助语言的情感回复。

可选地，所述两个解码器各自执行的内部交互操作的流程相同且同步进行，其中，内部交互操作的流程为：

在时间步t时，根据所述两个解码器在t-1时刻各自输出的已经生成的文本和，得到所述两个解码器各自的输入queries(Q₁、Q₂)、keys(K₁、 K₂)和values(V₁、V₂)；