[发明专利]对话生成模型的训练方法、对话生成方法及装置

说明书

本申请公开了一种对话生成模型的训练方法、对话生成方法及装置，涉及人工智能领域。该方法包括：通过对上下文样本进行编码得到第一隐层变量，对第一隐层变量识别得到先验隐层变量；对答复样本进行编码得到第二隐层变量；对答复相似样本进行编码得到第三隐层变量；根据第一隐层变量、第二隐层变量和第三隐层变量的混合高斯分布，识别得到后验隐层变量；匹配先验隐层变量和后验隐层变量，对对话生成模型进行对抗训练。该方法采用了样本集中的相似样本，通过相似样本的混合高斯分布来拟合对话生成模型的后验分布，达到了拟合更加复语义的目的，能够捕捉对话的复杂语义和高可变性。

技术领域

本申请涉及人工智能领域，特别涉及一种对话生成模型的训练方法、对话生成方法及装置。

背景技术

开放域下的对话系统被广泛应用于工业界和学术界，该对话系统能够生成具有多样性和相关性的答复。

基于变分自动编码器(Variational Auto-Encoders，VAEs)的对话生成模型在给定不同主题的上下文的情况下，生成具有多样性和相关性的答复。以Wasserstein自动编码器(Dialog Wasserstein Auto-Encoder，DialogWAE)为例，对对话生成模型的训练过程进行说明，首先，DialogWAE通过先验网络(Prior Network)对上下文学习得到一个混合高斯分布，基于混合高斯分布采样得到一个随机变量；然后，通过生成器将上述随机变量转变为先验隐层变量；同理，DialogWAE还通过后验网络对上下文和真实答复学习得到另一个高斯分布，基于上述另一个高斯分布重采样得到一个变量，通过另一生成器将生成后验隐层变量；最终，DialogWAE通过判别器度量先验隐层变量与后验隐层变量之间的Wasserstein距离。

上述DialogWAE通过简单的高斯分布拟合后验分布，比如，对一个高斯分布采样得到一个变量，来生成后验隐层变量；而简单的高斯分布拟合的后验分布可能无法捕捉到对于答复生成所需的复杂语义和高可变性。

发明内容

本申请实施例提供了一种对话生成模型的训练方法、对话生成方法及装置，可以解决简单的高斯分布拟合的后验分布对于答复生成所需的复杂语义和高可变性可能无法捕捉到的问题。所述技术方案如下：

根据本申请的一个方面，提供了一种对话生成模型的训练方法，该方法包括：

获取至少一组训练样本，每组训练样本包括上下文样本、答复样本和答复相似样本；

对上下文样本进行编码得到第一隐层变量，对第一隐层变量识别得到先验隐层变量；

对答复样本进行编码得到第二隐层变量；对答复相似样本进行编码得到第三隐层变量；根据第一隐层变量、第二隐层变量和第三隐层变量的混合高斯分布，识别得到后验隐层变量；

匹配先验隐层变量和后验隐层变量，对对话生成模型进行对抗训练；

其中，答复相似样本是根据答复样本的上下文采集得到的答复的相似样本；上下文样本是采集答复样本的上下文得到的。

根据本申请的另一个方面，提供了一种对话生成方法，应用于运行有对话生成模型的服务器中，对话生成模型是上述一个方面及其可选实施例中任一方法训练的模型，该方法包括：

获取对话的上下文；

调用对话生成模型对对话的上下文进行编码得到第一隐层变量；

调用对话生成模型对第一隐层变量识别得到先验隐层变量；

调用对话生成模型对第一隐层变量和先验隐层变量的和进行解码生成答复对话；

输出答复对话。

根据本申请的另一方面，提供了一种对话生成模型的训练装置，该装置包括：