[发明专利]一种面向开放域对话系统的情感回复自动生成方法

说明书

本发明公开一种面向开放域对话系统的情感回复自动生成方法，目的是使对话系统能够根据用户的输入语句自动生成内容丰富、情感合适的回复。首先，基于词嵌入表和VAD情感字典对语料库中每个样本的输入和回复语句进行预处理得到输入与回复的词嵌入序列和情感嵌入序列；其次，将词嵌入和情感嵌入拼接对词嵌入进行扩充并向模型引入回复的情感分布信息，将拼接序列在编码器中编码得到输入和回复包含情感信息的语义表示向量；最后，使用语义表示向量预测条件先验分布和后验分布的近似并采样潜变量，通过潜变量重构回复和回复的情感分布；在生成回复语句时，通过多次采样产生多条回复，然后结合序列到序列模型以及VAD字典，从回复的语法、语义和情感角度自动评分并选择最佳回复。

技术领域

本发明属于自然语言处理的人机对话领域，特别涉及一种基于深度神经网络的开放域对话系统的情感回复自动生成方法。

背景技术

近年来，对话机器人逐渐融入了人们的日常生活。例如Siri、小度、天猫精灵等语音助手，可以通过对话帮助人们完成一些简单的任务，例如定闹钟、播放音乐、闲聊等。目前，已有的对话系统根据领域知识划分，可以分为特定域对话系统和开放域对话系统两种类型。特定域对话系统局限于某个特定领域的背景知识来进行对话，与之相关的是面向任务的对话系统，例如电影购票辅助机器人。开放域对话系统没有这方面的限制，可以进行关于任何内容的闲聊，帮助人们放松心情，打发时间。除此之外，根据实现方式，对话系统还可以划分为基于检索、基于模板和生成式对话系统。传统的对话系统，主要是通过基于检索和基于模板的方法实现的。基于模板的对话系统需要耗费大量的人力制定模板，并基于机器学习算法填充模板里的槽值。基于检索的对话系统则需要拥有一个庞大的语料库作为支撑，并且无法回复语料库中没有的内容。这些方式可以很好的运用在面向任务的特定域对话系统中，但由于其缺陷无法很好的用于开放域的闲聊。最近，大量大规模公共数据集的出现和深度学习的兴起，使得基于数据驱动和深度神经网络的生成式方法成为可能。本发明提供的情感回复自动生成方法正是针对单轮对话场景的开放域生成式对话系统。

目前生成式对话系统最主要的模型是序列到序列(Sequence-to-Sequence,Seq2Seq)模型，它能够将一个序列转换到另一个序列，从而实现从输入到回复的转换，其结构如附图1所示。模型的结构为编码器-解码器(Encoder-Decoder)结构。首先将输入句子的每个词语转化成词嵌入，传入到由循环神经网络(RNN)构成的编码器中进行编码，得到输入句子的整体语义向量表示，然后利用这个语义向量初始化与编码器类似的解码器，最终得到对于这个输入的回复。这种模型存在的一个问题就是生成的回复缺乏多样性。根据语料库不同，产生的回复中一般都会存在几句出现频率较高且缺乏内容的通用的句子，例如“我不知道”，“我不确定”。产生这个问题主要的原因是模型使用最大似然估计方法确定生成的词语，容易导致训练数据中出现频次高的词被选中，从而造成回复偏向通用。

最新用于对话的条件变分自编码器(Conditional Variational Auto-Encoders，CVAE)模型在编码器-解码器的结构上引入了潜变量，通过采样潜变量并进行解码就能够得到一条与输入相关的回复，通过多次潜变量采样，就可以生成多个回复，从而实现了对话中输入与回复一对多的映射，大大提高了回复内容的多样性，其结构如附图2所示。但是，提高多样性带来的一个问题就是上下文的相关性降低。除此之外，传统预训练的词向量通常是由语言模型训练得到的，不包含任何的情感信息，容易造成模型生成的内容在情感表达上不合适。