[发明专利]对话模型的训练方法、训练装置、对话方法及对话系统

说明书

本发明公开了一种对话模型的训练方法、训练装置、对话方法及对话系统。在总误差构建步骤，构建同时包含自然语言理解模型的第一误差和策略生成模型的第二误差的总误差函数。在联合训练步骤，以使总误差函数减小为目标，使用语料样本对自然语言理解模型和策略生成模型进行联合训练，其中，自然语言理解模型的输入为对话语句，输出为对对话语句进行解析得到的内部表示，策略生成模型的输入至少包括自然语言理解模型的输出，策略生成模型的输出为针对对话语句作出的动作。与现有技术相比，在自然语言理解模型或策略生成模型出现误差的时候，系统可以正常的进行对话，解决了传统方法中将自然语言理解模型和对话管理模型分开建模而导致的误差传递问题。

技术领域

本发明涉及人机对话领域，特别是涉及一种对话模型的训练方法、训练装置、对话方法及对话系统。

背景技术

传统的对话系统一般可以概括为以下三个阶段：

1)用户通过文本或者语音进行输入，自然语言理解(NLU)模块将用户的输入进行解析，得到结构化的内部表示。

2)对话管理(DM)模块接收到结构化的内部表示，根据历史的系统状态进行更新，得到最新的系统状态，再根据提前制定好的对话策略来选择与最新的系统状态对应的系统动作，交给下一个模块。

3)最后，自然语言生成(NLG)模块负责将系统动作转换成人类能够理解的自然语言或者语音输出。

在用户接收到系统的输出后，如果继续对话，则返回1)。

在上述的流程中，都需要事先通过自然语言理解模块对用户输入的文本或语音进行解析，然后将其传递给对话管理模块。由于传统的对话系统中自然语言理解模块和对话管理模块是分开建模的，两者出现的错误均会影响最终结果，例如，在自然语言理解模块出现问题时，自然语言理解模块产生的误差会传递给对话管理模块，使得对话管理模块不能正常进行。而在实际过程中，自然语言理解模块或对话管理模块的错误是无法避免的，因此传统的训练方法显然不能解决这种误差传递问题。

发明内容

本发明的一个目的在于提供一种能够对话过程中减小误差传递问题的对话模型训练方案。

根据本发明的一个方面，提供了一种对话模型的训练方法，包括：总误差构建步骤，构建同时包含自然语言理解模型的第一误差和策略生成模型的第二误差的总误差函数；联合训练步骤，以使总误差函数减小为目标，使用语料样本对自然语言理解模型和策略生成模型进行联合训练，其中，自然语言理解模型的输入为对话语句，输出为对对话语句进行解析得到的内部表示，策略生成模型的输入至少包括自然语言理解模型的输出，策略生成模型的输出为针对对话语句作出的动作。

可选地，自然语言理解模型为序列标注模型，序列标注模型的输入为对话语句的词序列，序列标注模型的输出为词序列对应的槽位和词序列表示的意图信息。

可选地，序列标注模型可以包括：底层LSTM和上层LSTM，底层LSTM的输入为词序列中按顺序依次输入的各个词，底层LSTM用于基于对上一次输入的词进行处理后得到的隐藏层状态向量对本次输入的词进行处理，以得到本次输入的词的隐藏层状态向量，将得到的本次输入的词的隐藏层状态向量传递给上层LSTM，并且将对最后一个输入的词进行处理后得到的隐藏层状态向量输入到第一分类器，以得到词序列的意图信息；上层LSTM用于基于对接收到的上一次输入的词的隐藏层状态向量进行处理后得到的输出，对接收到的本次输入的词的隐藏层状态向量进行处理，并将处理后得到的输出输入到第二分类器，以得到词序列中的每个词对应的槽位。

可选地，自然语言理解模型的第一误差可以包括：槽填充误差和意图识别误差，槽填充误差与语料样本的规模、针对语料样本中每个训练样本使用自然语言理解模型得到的槽位和标准槽位之间的误差相关，意图识别误差与语料样本的规模、针对语料样本中每个训练样本使用自然语言理解模型得到的意图信息和标准意图信息之间的误差相关。