[发明专利]基于合成数据训练的会话代理管线

说明书

在一个实施例中，生成合成训练数据项，每个合成训练数据项包括：a)合成语句的文本表示，以及b)合成语句的一个或多个转码，该一个或多个转码包括一个或多个动作和与一个或多个动作相关联的一个或多个实体。对于每个合成训练数据项，合成语句的文本表示被转换成表示合成语句的音素序列。然后，第一机器学习模型被训练为转码器，该转码器根据音素序列确定包括动作和关联的实体的转码，其中，使用第一训练数据集来执行该训练，第一训练数据集包括多个合成训练数据项，该多个合成训练数据项包括：a)表示合成语句的音素序列，以及b)合成语句的转码。转码器可以在会话代理中使用。

技术领域

本公开涉及人工智能和机器学习领域，尤其涉及使用合成数据来训练用于约束域的会话代理管线。

背景技术

会话代理是对用户以普通自然语言作出的语句进行解释并作出响应的软件程序。会话代理的示例包括和传统的会话代理接收音频波形，执行特征提取以将音频波形转换为声学特征的序列，并且将声学特征序列输入到自动语音识别(ASR)系统中，该自动语音识别(ASR)系统包括声学模型(AM)和语言模型(LM)。AM确定从这些声学特征映射到各种假设的音素序列的可能性，而LM确定词语序列的先验可能性。解码器使用这两个模型与发音词典一起来选择给定输入的最大可能的词语序列(例如，充当语音转录引擎)。由ASR输出的文本的序列作为自然语言理解(NLU)系统的输入，该NLU系统基于由ASR输出的文本来确定讲话者的意图。随后，讲话者的所确定的意图被输入到对话管理系统中，该对话管理系统确定要执行以满足所确定的意图的一个或多个动作。

传统的会话代理被设计为在开放式域中工作，在该开放式域中，会话代理接收关于广泛主题的输入，基于输入确定广泛的用户意图，并基于确定的用户意图产生大量的结果。然而，传统的会话代理的ASR系统通常易于出错，导致之后通过NLU系统传播的词语级错误，这可能最终使会话代理错误地确定讲话者意图或无法确定讲话者意图。例如，声学失真可以使其难以正确地转录讲话者话语。因此，当存在噪声(例如，在具有背景声学噪声的真实世界状况中)或训练数据和真实世界数据(例如，测试和/或现场应用中使用的数据)之间存在可能劣化ASR的性能的任何其他声学不匹配时，会话代理的准确性劣化。这样的不匹配可以例如由噪声、混响、讲话者性别、年龄、口音等的变化引起。另外，人们在许多情况下讲话时自然使用不标准的语法，并且出现诸如频繁停顿、重新开始、不完整话语、纠正、“嗯”、“以及”等的表现错误，这使NLU确定正确的讲话者意图非常具有挑战性。这些现象通常引起会话代理不正确地确定讲话者意图或无法确定讲话者意图。

附图说明

根据以下给出的详细描述以及各个本公开实施例的附图，将更充分地理解本公开，然而，它们不应该用于将本公开局限于特定实施例，而仅用于解释和理解。

图1是示出根据本公开实施例的会话代理管线的框图。

图2A是示出根据本公开实施例的声学模型训练管线的框图。

图2B是示出根据本公开实施例的转码器训练管线的框图。

图3是示出根据本公开实施例的将机器学习模型训练为转码器的方法的流程图。

图4是示出根据本公开实施例的生成合成语音数据的方法的流程图。

图5是示出根据本公开实施例的训练声学模型的方法的流程图。

图6是示出根据本公开实施例的使用会话代理根据音频输入确定讲话者意图的方法的流程图。

图7是示出根据本公开实施例的示例性计算机系统的框图。

具体实施方式