[发明专利]基于同时热词触发的跨设备数据同步

说明书

本文描述了用于跨设备数据同步的技术。一种方法包括：至少部分地在第一计算设备上实行自动助理的第一实例；接收捕获口头话语的音频数据；使用机器学习模型处理该音频数据，以生成指示音频数据中存在的一个或多个热词的概率的预测输出；确定该预测输出满足阈值；响应于确定该预测输出满足阈值，执行与至少部分地实行自动助理的至少一个其他实例的至少一个其他计算设备的仲裁；以及响应于执行与至少一个其他计算设备的仲裁，发起自动助理的第一实例与自动助理的至少一个其他实例之间的用户数据或配置数据的同步。

背景技术

人类可以使用本文称作“自动助理”(也称作“数字代理”、“交互式个人助理”、“智能个人助理”、“助理应用”、“对话代理”等)的交互式软件应用来参与人机对话。例如，人类(当他们与自动助理交互时，可以被称作“用户”)可以使用口头自然语言输入(即，话语)向自动助理提供命令和/或请求，在一些情况下，可以通过提供文本(例如，键入的)自然语言输入，和/或通过触摸和/或无话语物理移动(例如，手势、眼睛注视、面部移动等)，将这些命令和/或请求转换成文本，并且然后进行处理。自动助理通过提供响应用户接口输出(例如，听觉和/或视觉用户接口输出)、控制一个或多个智能设备、和/或控制实现自动助理的设备的一个或多个功能(例如，控制设备的其他应用)来响应请求。

如上所述，许多自动助理被配置成经由口头话语进行交互。为了保护用户隐私和/或节省资源，自动助理避免基于经由实现(至少部分地)自动助理的客户端设备的麦克风检测到的音频数据中存在的所有口头话语来执行一个或多个自动助理功能。相反，基于口头话语的特定处理仅响应于确定特定条件存在而发生。

例如，包括自动助理和/或与自动助理接口连接的许多客户端设备包括热词检测模型。当此类客户端设备的麦克风未被停用时，客户端设备可以使用热词检测模型来持续地处理经由麦克风检测到的音频数据，以生成指示是否存在一个或多个热词(包括多词短语)的预测输出，诸如“嘿助理”、“好的助理”和/或“助理”。当预测输出指示热词存在时，在阈值时间量内跟随的任何音频数据(并且任选地被确定为包括语音活动)可以由一个或多个设备上和/或远程自动助理组件来处理，诸如语音辨识组件、语音活动检测组件等。此外，可以使用自然语言理解引擎来处理(来自语音辨识组件的)所辨识的文本，和/或可以基于自然语言理解引擎输出来执行动作。例如，动作可以包括生成和提供响应和/或控制一个或多个应用和/或智能设备。然而，当预测输出指示热词不存在时，对应的音频数据将被丢弃而不进行任何进一步的处理，从而节省资源和保护用户隐私。

这些自动助理的一个或多个组件可以在边缘(客户端)设备上运行，以便提供增加的隐私和/或减少的等待时间。然而，随着自动助理变得越来越分散并且散布在各个客户端设备上，自动助理所使用的数据(例如，用于个性化、说话人识别等)变得更加孤立。在没有任何基于云的组件(例如，没有基于云的账户)的情况下使用自动助理的情况下，在用户的各种客户端设备上运行的自动助理所使用的数据在一个或多个客户端设备上可能不可用或者可能过时。

发明内容

本文公开的一些实现方式涉及改进机器学习模型的性能、改进设备性能和能力、以及通过基于同时热词触发的跨设备数据同步来改进设备提供的用户体验。如本文更详细描述，提供了跨设备数据同步，使得用户数据在与特定用户相关联的客户端设备之间适当地同步。在一些实现方式中，这种同步可以帮助自动助理在用户与不同设备交互时向用户提供一致的体验。在其他实现方式中，这种同步可以提供用户的一个或多个现有设备与用户新购买的设备之间的数据同步。

在一些实现方式中，跨设备数据同步可以在存在多个支持热词的设备(例如，自动助理)的设置中执行，这些设备不是集中连接的(例如，一个或多个设备没有连接到因特网或者没有与云服务的账户或连接，或者一个设备具有账户而其他设备没有，或者这些设备具有与不同云提供商的账户)。在一些实现方式中，做出关于用户是否拥有可以同步的多个设备的本地确定。