[发明专利]为自动助理扩展物理运动手势词典

说明书

本文提供的实施方式涉及将可用的输入手势与最近创建的应用功能关联，和使可用的输入手势和/或用户创建的输入手势适于与现有应用功能关联。可用的输入手势(例如，挥手)可以是在设置计算设备时可以容易地执行的那些手势。当用户安装最初并未被配置成处理可用的输入手势的应用时，可用的输入手势可以与该应用的某些功能关联。此外，用户可以根据他们自己的偏好和/或身体能力来创建用于应用动作的新手势和/或修改现有手势。当多个用户选择以相同方式修改现有手势时，可以在得到用户准许的情况下使修改通用，以便消除随后适应其它用户的偏好时的时延。

背景技术

人类可以参与和在本文中称为“自动助理”(也称为“数字代理”、“聊天机器人”、“交互式个人助理”、“智能个人助理”、“助理应用”、“谈话代理”、等)的交互式软件应用的人机对话。例如，人类(当人类与自动助理交互时可以被称为“用户”)可以使用口头自然语言输入(即，话语)和/或通过提供(例如，键入的)文本的自然语言输入来提供命令和/或请求，在一些情况下该口头自然语言输入可以被转换成文本然后被处理。附加地或可替代地，自动助理可以经由由相机或其它视觉组件捕获的物理运动手势来接收来自用户的请求。自动助理可以通过控制对应的智能设备和/或提供响应的用户界面输出来响应于物理运动手势，该响应的用户界面输出可以包括听觉和/或视觉用户界面输出。

在一些情况下，用户可能提供了物理运动手势，虽然用户预期以该物理运动手势引起执行一自动助理动作，但是并没有导致预期的该一自动助理动作被执行。例如，物理运动手势可能以自动助理无法理解的方式来执行，和/或物理运动手势可能是未明确映射到任何自动助理动作的物理运动手势。结果，自动助理可能无法完全处理物理运动手势和/或可能无法确定该手势是对自动助理动作的请求。这会导致自动助理不对物理运动手势提供任何响应，或者仅提供错误响应，例如“Sorry,I can’t help with that(对不起，我对此无能为力)”和/或错误音。尽管自动助理未能执行与物理运动手势相对应的预期自动助理动作-或以其它方式未标识与该物理运动手势相关联的任何可执行动作，但是在处理该物理运动手势并且试图标识适当的动作时仍然消耗了各种计算机和/或网络资源。例如，对应于物理运动手势的数据可以被传送和/或经历一定量的处理。这种资源消耗是浪费的，因为没有执行预期的动作。而且，用户可能会试图提供替代的用户界面输入(例如，口头命令、触摸输入或替代的物理运动手势)或提供该物理运动手势的另一实例，以再次寻求执行预期动作。这样的后续用户界面输入也将必须被处理。与用户最初向自动助理提供合适的物理运动手势相比，这导致执行附加处理并导致在动作执行时出现时延。因此，存在改善物理运动手势输入的效率的需求。

发明内容

本文提供的实施方式涉及使可用的输入手势与新提供的应用功能关联，并使可用的输入手势和/或用户创建的输入手势适于与现有应用功能关联。最近创建的应用功能可以对应于可以由已经安装在计算设备处的应用执行的动作，该计算设备在安装该应用之前不具有执行该动作的功能性。尽管可以经由一个或多个用户输入(例如，如由应用的制造商建立)来控制应用功能，但是该应用功能可能不能经由任何物理运动手势来控制。例如，用户可以在他们的家用计算设备上安装安保应用，并且该家用计算设备还可以包括用户通常使用横向手轻扫手势来控制的消息收发应用。当用户无法直接触摸计算设备的界面和/或具有阻止他们向计算设备提供口头话语的障碍时，对消息收发应用的这种控制可能是有用的。计算设备可以确定用户频繁地使用横向手轻扫手势，并且还确定安保应用的应用功能(例如，查看安保应用的警报)当前未被配置成经由横向手轻扫手势来控制。基于这些确定，计算设备可以生成将横向手轻扫手势映射到安保应用的应用功能的关联数据。可选地，可以提示用户确认该映射和/或以其它方式使用户注意横向手轻扫手势可用于控制安保应用的一个或多个功能。这可以允许用户决定是否将手势映射到安保应用的功能。