[发明专利]直接从对话历史和资源中生成自动化助理响应和/或动作

说明书

本公开涉及直接从对话历史和资源中生成自动化助理响应和/或动作。训练和/或利用单个神经网络模型在用户和自动化助理之间的对话会话的多个助理轮次中的每个轮次生成对应的自动化助理自然语言响应和/或对应的自动化助理动作。例如，在对话会话的给定助理轮次，可以联合并直接基于使用单个神经网络模型生成的输出来生成对应的自然语言响应和对应的动作。可以基于使用神经网络模型处理对话历史和多个离散资源来生成对应的响应和/或对应的动作。例如，神经网络模型可以用于逐个令牌地生成响应和/或动作。

技术领域

本公开涉及直接从对话历史和资源中生成自动化助理响应和/或动作。

背景技术

人们可以使用本文称为“自动化助理”(也称为“数字代理”、“交互式个人助理”、“智能个人助理”、“助理应用”、“会话代理”等)的交互式软件应用参与人机对话。例如，人类(当他们与自动化助理交互时他们可以称为“用户”)可以使用口头自然语言输入(即话语)和/或通过提供文本(例如，键入的)自然语言输入向自动化助理提供命令和/或请求，在某些情况下可以将口头自然语言输入(即话语)转换为文本然后对其进行处理。自动化助理通过提供响应用户界面输出和/或采取响应动作来响应请求。响应用户界面输出可以包括自然语言输出，其可以可选地被转换为合成话音并进行渲染。响应动作可以包括例如控制外围设备(例如，智能灯、智能电器等)和/或与另一系统交互以执行任务(例如，请求乘车共享、预订餐厅等)。

自动化助理通常在解释和响应于用户请求时依赖于多个离散组件的流水线。例如，自然语言理解组件可以用于处理请求的文本(例如，从口头话语转换的文本)以生成符号表示或信念状态，即该文本的语义表示。例如，信念状态可以包括与文本相对应的意图以及可选地包括用于该意图的参数(例如，时隙值)。然后，单独的实现组件可以利用信念状态来对外部知识源进行推理，这些外部知识源的结果被独立地用于动作预测任务和响应生成任务。但是，依赖于组件的流水线会使自动化助理难以扩展。而且，每个单独的组件都必须进行单独的训练，这可能在训练期间需要大量的工程工作并需要大量使用计算机资源。此外，全局增强信号(即，取决于对话轮次或完整对话的整体结果的那些)可能是有问题的和/或不可能有效地用于训练单个组件。

发明内容

本文公开的实现针对于训练和/或利用单个神经网络模型来在用户与自动化助理之间的对话会话的多个助理轮次中的每个轮次生成对应自动化助理自然语言响应和/或对应自动化助理动作。例如，在对话会话的给定助理轮次时，可以联合生成对应自然语言响应和对应动作，并且可以直接基于使用单个神经网络模型生成的输出来生成对应自然语言响应和对应动作。

对应响应和/或对应动作可以基于使用神经网络模型处理对话历史(即，用户话语、先前自动化助理响应和/或先前自动化助理动作)和多个离散资源(例如知识图条目、搜索结果和/或搜索结果文档)的而生成。例如，神经网络模型可用于在逐个令牌的基础上生成响应和/或动作，其中，每个令牌是单词、单词片段或字符。例如，在多个迭代的每个迭代，可以使用神经网络模型生成在令牌词汇表上的对应概率分布，并且在该迭代中选择具有最高概率的令牌。因此，经过多次迭代(例如，直到“结束”令牌具有最高概率为止)，选择了最高概率令牌的序列，并且该序列是自然语言响应和/或动作。自然语言响应可以被渲染为自动化助理响应(例如，作为基于文本到口头话语处理的可听输出)，并且任何动作都可以由自动化助理启动(例如，传输到远程设备以使得执行动作)。

以这些和其他方式，无需使用单独的自然语言组件以及随后使用单独的履行组件生成信念状态就可以生成自动化助理响应和动作。通过根据本文公开的实现训练和利用单个神经网络模型，可以跨多个域并针对各种对话执行自动化助理响应和动作生成，从而实现跨域和/或对话的自动化助理功能的有效缩放。此外，全局增强信号可以用于有效地训练单个神经网络模型，从而在训练单独的自然语言组件和/或单独的履行组件时，减轻了对信念状态的资源和劳动密集型注释的需求。