[发明专利]用于语言理解的分布式服务器系统

说明书

背景技术

机器学习、语言理解和人工智能正在改变用户与计算机交互的方式。计算机和应用的开发人员总是试图改进人与计算机之间的交互。然而，语言理解模型的发展通常需要大量的时间、金钱和其他资源来完成。

关于这些和其他一般考虑而已经做出了本文中公开的各方面。而且，虽然可以讨论相对具体的问题，但是应当理解，这些方面不应当局限于解决在本公开的背景技术或其他地方确定的具体问题。

发明内容

总而言之，本公开总体上涉及用于训练和使用自然语言理解系统的系统和方法。更具体地，本文中公开的系统和方法训练和使用自然语言理解系统，其利用一个或多个特征服务器上的特征提取器的分布式网络。因此，本文中公开的系统和方法提供了更准确的自然语言理解系统、更可靠的自然语言理解系统和更高效的自然语言理解系统。此外，本文中描述的系统和方法提供了具有更好的开发(包括更新能力)、生产力和可扩展性的自然语言理解系统。

本公开的一个方面包括一种语言理解系统。语言理解系统包括语言理解服务器。语言理解服务器包括处理器和存储器。处理器执行存储在存储器上的指令以执行方法。该方法包括从多个特征提取器中取回训练特征，并且基于训练算法来估计模型参数以形成经训练的语言理解模型，该训练算法利用来自不同的特征服务器的训练特征。多个特征提取器各自位于不同的特征服务器上。语言理解服务器与不同的特征服务器分离。

本公开的另一方面涉及一种用于训练和使用自然语言理解系统的方法。该方法包括训练语言理解系统的语言理解模型。语言理解模型的训练包括在语言理解服务器处从多个特征提取器接收训练特征，并且基于训练算法来估计模型参数以形成经训练的语言理解模型，该训练算法利用来自不同的特征服务器的训练特征。多个特征提取器各自位于不同的特征服务器上。语言理解服务器与不同的特征服务器分离。

本公开的又一方面包括一种系统。该系统包括至少一个处理器和存储器。存储器包括存储在其上的计算机可执行指令。计算机可执行指令由至少一个处理器执行。计算机可执行指令引起该系统执行操作，该操作包括：在自然语言服务器上从客户端设备接收自然语言输入，从自然语言服务器向第一服务器上的第一特征提取器发送自然语言输入，从自然语言服务器向第二服务器上的第二特征提取器发送自然语言输入，以及从自然语言服务器向第三服务器上的第三特征提取器发送自然语言输入。第一服务器、第二服务器、第三服务器和自然语言服务器彼此不同并且彼此分离。计算机可执行指令引起该系统执行另外的操作，该操作包括由自然语言服务器从第一特征提取器接收针对自然语言输入的第一潜在特征集，由自然语言服务器从第二特征提取器接收针对自然语言输入的第二潜在特征集，以及由自然语言服务器从第三特征提取器接收针对自然语言输入的第三潜在特征集。计算机可执行指令引起该系统执行附加操作，该操作包括对第一潜在特征集、第二潜在特征集和第三潜在特征集以形成聚合的潜在特征集进行聚合，并且利用语言理解模型来评估聚合的潜在特征集，该语言理解模型利用来自第一特征提取器、第二特征提取器和第三特征提取器的训练特征而被训练。计算机可执行指令引起该系统执行另外的操作，该操作包括基于评估聚合的潜在特征集来确定用户意图、域和实体以及相关联的置信度得分，并且基于用户意图、域和实体以及相关联的置信度得分来生成响应。

提供本“发明内容”是为了以简化的形式介绍将在以下“具体实施方式”中进一步描述的概念的选择。本“发明内容”不是为了确定所要求保护的主题的关键特征或基本特征，也并非旨在用于限制所要求保护的主题的范围。

附图说明

非限制性和非穷尽性的示例或方面参考以下附图来描述。

图1是示出包括客户端设备、自然语言理解系统和多个分布式特征提取器的分布式系统的示例的示意图。

图2是示出包括客户端设备、在地点域中操作的自然语言理解系统以及用于地点域的多个分布式特征提取器的分布式系统的示例的示意图。

图3是示出用于训练自然语言理解系统的语言理解模型的方法的示例的流程图。

图4是示出用于使用自然语言理解系统的方法的示例的流程图。

图5是示出可以实践本公开的各方面的计算设备的示例物理部件的框图。

图6A和图6B是可以实践本公开的各方面的移动计算设备的简化框图。

图7是可以实践本公开的各方面的分布式计算系统的简化框图。

图8示出了可以实践本公开的各方面的平板计算设备。

具体实施方式