[发明专利]对话生成模型的训练方法、对话生成方法及装置

权利要求书

1.一种对话生成模型的训练方法，其特征在于，所述对话生成模型包括先验网络、识别网络、第一生成器和第二生成器，所述方法包括：

获取至少一组训练样本，每组训练样本包括上下文样本、答复样本和答复相似样本，所述训练样本采用文本或语音的形式表示；

对所述上下文样本进行编码得到第一隐层变量，调用所述先验网络对所述第一隐层变量进行识别，得到第三混合高斯分布和第三权重，所述第三混合高斯分布中包括n个第三高斯分布，所述第三权重包括与所述n个第三高斯分布对应的n个第三权重；从所述n个第三高斯分布中分别获取得到n个第三高斯噪声；将所述n个第三高斯噪声分别与所述n个第三权重对应相乘，得到n个第三乘积；将所述n个第三乘积的和确定为先验高斯噪声；调用所述第二生成器将所述先验高斯噪声转换为先验隐层变量，n为大于2的正整数；

对所述答复样本进行编码得到第二隐层变量；对所述答复相似样本进行编码得到第三隐层变量；调用所述识别网络对所述第二隐层变量与所述第一隐层变量的和进行识别，得到第一识别结果，所述第一识别结果包括第一混合高斯分布；调用所述识别网络对所述第三隐层变量与所述第一隐层变量的和进行识别，得到第二识别结果，所述第二识别结果包括第二混合高斯分布；调用所述识别网络从所述第一混合高斯分布和所述第二混合高斯分布中确定出后验高斯噪声；调用所述第一生成器将所述后验高斯噪声转换为第一后验隐层变量；

匹配所述先验隐层变量和所述第一后验隐层变量，对所述对话生成模型进行对抗训练；

其中，所述答复相似样本是根据所述答复样本的上下文采集得到的答复的相似样本；所述上下文样本是采集所述答复样本的上下文得到的。

2.根据权利要求1所述的方法，其特征在于，所述第一识别结果还包括第一权重；所述第二识别结果还包括第二权重；

所述调用所述识别网络从所述第一混合高斯分布和所述第二混合高斯分布中确定出后验高斯噪声，包括：

调用所述识别网络从所述第一混合高斯分布中获取第一高斯噪声；从所述第二混合高斯分布中获取第二高斯噪声；

调用所述识别网络将所述第一高斯噪声与所述第一权重相乘得到第一乘积；将所述第二高斯噪声与所述第二权重相乘得到第二乘积；

调用所述识别网络将所述第一乘积与所述第二乘积的和确定为所述后验高斯噪声。

3.根据权利要求1所述的方法，其特征在于，所述先验网络中包括归一化指数函数；

所述调用所述先验网络对所述第一隐层变量进行识别，得到第三权重，包括：

调用所述归一化指数函数对所述第一隐层变量进行处理，得到所述第三权重。

4.根据权利要求1至3任一所述的方法，其特征在于，所述对话生成模型包括后验分布模块；

所述方法还包括：

调用所述对话生成模型对所述第一隐层变量、所述第二隐层变量和所述第三隐层变量进行识别，对所述对话生成模型的所述后验分布模块中的模型参数进行训练。

5.根据权利要求4所述的方法，其特征在于，所述后验分布模块中包括所述识别网络、所述第一生成器和答复解码器；

所述调用所述对话生成模型对所述第一隐层变量、所述第二隐层变量和所述第三隐层变量进行识别，对所述对话生成模型的所述后验分布模块中的模型参数进行训练，包括：

调用所述识别网络对隐层变量之和进行识别，得到第四混合高斯分布；调用所述识别网络从所述第四混合高斯分布中获取第四高斯噪声；

调用所述第一生成器对所述第四高斯噪声进行处理，生成第二后验隐层变量；

调用所述答复解码器对所述第二后验隐层变量和所述第一隐层变量的和进行解码，对所述后验分布模块中的所述模型参数进行训练；

其中，所述隐层变量之和包括所述第二隐层变量与所述第一隐层变量的和，以及所述第三隐层变量与所述第一隐层变量的和。

6.根据权利要求1至3任一所述的方法，其特征在于，所述对话生成模型包括后验分布模块；

所述方法还包括：

调用所述对话生成模型对所述第一隐层变量和所述第二隐层变量进行识别，对所述对话生成模型的所述后验分布模块中的模型参数进行训练。