[发明专利]使用隐式反馈优化数字助理的对话策略决策

说明书

提供了使用隐式反馈优化数字助理的对话策略决策的系统和过程。在示例性过程中，接收用户话语。基于该用户话语的文本表示，确定对应于该用户话语的一个或多个用户意图。基于该一个或多个用户意图的信度状态和策略模型从多个候选策略操作中选择策略操作。执行该策略操作，包括输出该策略操作的结果以供呈现。基于在执行该策略操作之后是否检测到预先确定的一种或多种类型的隐式用户反馈来确定该策略操作的成功分数。使用所确定的成功分数对该策略模型的一组参数值进行修改。

本申请要求以下专利申请的优先权：于2017年5月15日提交的标题为“OPTIMIZINGDIALOGUE POLICY decisions FOR Digital assistants USING implicit feedback，”的美国专利申请序列号62/506,465；于2017年6月1日提交的标题为“OPTIMIZING DIALOGUEPOLICY decisions FOR Digital assistants USING implicit feedback，”的丹麦专利申请号PA201770431；以及于2017年8月15日提交的标题为“OPTIMIZING DIALOGUE POLICYdecisions FOR Digital assistants USING implicit feedback，”的美国专利申请序列号15/678,059，其内容据此全文以引用方式并入本文。

技术领域

本公开整体涉及数字助理，并且更具体地涉及使用隐式反馈优化数字助理的对话策略决策。

背景技术

智能自动化助理(或数字助理)可在人类用户与电子设备之间提供有利界面。此类助理可允许用户使用自然语言以语音形式和/或文本形式与设备或系统进行交互。例如，用户可向正在电子设备上运行的数字助理提供包含用户请求的话语。数字助理可从该话语中解译用户意图并且将用户意图操作化为任务。随后可通过执行电子设备的一项或多项服务来执行这些任务，并且可将响应于用户请求的相关输出返回给用户。

数字助理决定响应于用户的自然语言输入而执行的特定任务或操作可基于由数字助理实现的策略模型。具体地讲，策略模型可应用策略，该策略确定在当前对话状态(也称为信度状态)下要采取的适当策略操作。该策略操作可包括一组一个或多个任务或操作。在一些常规数字助理系统中，在其策略模型中应用的策略可包括一组手工制定的规则。然而，制定这种策略可能既耗时又低效。此外，这种策略由于其规模和复杂性增加以涵盖不同的对话情景和用户应用程序而无法很好地扩展。

发明内容

本发明提供了使用隐式反馈优化数字助理的对话策略决策的系统和过程。在示例性过程中，接收用户话语。基于用户话语的文本表示，确定对应于用户话语的一个或多个用户意图。确定所述一个或多个用户意图的信度状态。该信度状态对应于多个候选策略操作。基于该信度状态和策略模型，从所述多个候选策略操作中选择策略操作。执行该策略操作。执行该策略操作包括输出该策略操作的结果以供呈现。基于在执行策略操作之后是否检测到多种类型的用户输入中的一种来确定策略操作的成功分数。所述多种类型的用户输入各自为除对结构化设备查询的响应之外的一种类型的用户输入。使用所确定的成功分数对策略模型的一组参数值进行修改。

确定所述一个或多个用户意图的信度状态可提供所述一个或多个用户意图的内部表示，该内部表示包括过去和当前的观察以及每个用户意图的不确定性。信度状态可允许使用更大和更全面的知识库来选择策略操作，这可提高选择过程的准确性。因此，可通过允许更好地解译语音和其他形式的自然语言输入来增强电子设备的可操作性。具体地，电子设备在响应于用户请求识别和执行任务时能够以更高的准确性和可靠性进行操作。