[发明专利]能感知对话上下文相对位置信息的多轮对话文本生成方法

说明书

本发明涉及一种能感知对话上下文相对位置信息的多轮对话文本生成方法。本发明所述的能感知对话上下文相对位置信息的多轮对话文本生成方法包括以下步骤：构建多轮对话文本生成模型，包括输入层、上下文自注意力层、响应自注意力层、隐变量层、角色嵌入层和解码器层；其中，所述输入层包括词嵌入层和编码器；将对话输入至多轮对话文本生成模型，经输入层、上下文自注意力层处理得到词嵌入序列和对话上下文话语间注意力表示；经响应自注意力层处理得到对话响应的注意力表示；经角色嵌入层处理得到角色嵌入；经隐变量层和解码器层处理，生成对话结果。本发明所述的能感知对话上下文相对位置信息的多轮对话文本生成方法最终生成的对话文本逻辑性更强。

技术领域

本发明涉及自然对话生成领域，特别是涉及一种能感知对话上下文相对位置信息的多轮对话文本生成方法。

背景技术

深度学习的不断进步极大地推动了生成式对话系统的发展。序列到序列模型(sequence to sequence model，Seq2Seq)被广泛用于解决序列建模问题，使用循环神经网络(Recurrent neural network，RNN)，如门控循环单元(Gated Recurrent Unit，GRU)、长期短期记忆网络，作为序列到序列模型的基本组成单元。对话文本生成的主流方法采用序列到序列模型，利用深度循环神经网络(RNN)结合注意力机制作为基本构件。

2016年，有学者首次提出层级递归编码器解码器模型(Hierarchical RecurrentEncoder-Decoder)，首先编码句子内部的依赖关系，然后编码上下文句子之间的依赖关系。2017年，有学者在前面工作的基础上提出VHRED(Hierarchical Latent VariableEncoder-Decoder)模型，引入隐变量来提高生成文本的多样性。随后，有学者提出计算回答与上下文之间的余弦相似度分数来区分不同上下文句子的注意力权重，但他们的方法受限于文本级别的匹配，缺乏考虑更深入的语义匹配。2018年，有学者首次把传统的注意力机制引入到HRED模型中，但注意力位置偏差问题仍然存在。近两年，有学者提出ReCoSa模型(Detecting the Relevant Contexts with Self-Attention)，是一种使用自注意力机制检测相关上下文的对话文本生成方法，缓解了注意力偏差问题和语义匹配问题，但其仍然受限于有限的训练语料和单词的语义。

现有的基于深度学习的对话文本生成方法普遍存在以下问题：

其一，这些方法受限于有限的训练语料，不可避免会忽略一些概念知识，导致生成有常识错误的对话回复。如把句子“Hey,taxi.”中的“taxi”错误地当作是一个人名，给出如句子“Hey,tom.”的错误回复。以上问题一般可以通过更好地建模多轮对话中的知识来解决。

其二，基线模型生成的对话回复存在“角色模糊”问题。如图1所示，显然，在第四轮对话中，对话模型应作为一个司机的角色根据对话上下文给乘客一个回复，但司机询问乘客有关行程的时间和票价问题，显然有些身份的颠倒，说明了基线模型生成的回复与当前的说话者身份不符，我们把它称为“角色模糊”问题。我们分析，“角色模糊”问题是在缺乏角色对象语义引导下生成回复导致的，需要额外编码角色对象的语义信息。

发明内容

基于此，本发明的目的在于，提供一种能感知对话上下文相对位置信息的多轮对话文本生成方法，增加了角色嵌入计算，缓解了传统方法“角色模糊”问题；并引入隐变量，在保证相关性的前提下提升了对话文本生成的多样性。

一种能感知对话上下文相对位置信息的多轮对话文本生成方法，包括以下步骤：

构建多轮对话文本生成模型，包括输入层、上下文自注意力层、响应自注意力层、隐变量层、角色嵌入层和解码器层；其中，所述输入层包括词嵌入层和编码器；