[发明专利]基于检测到的手势和凝视调用自动化助理功能

说明书

基于对来自一个或多个视觉组件的视觉数据的处理，响应于以下检测，而调用自动化助理的一个或多个先前休眠的功能：(1)检测到用户的特定手势(例如，一个或多个“调用手势”中的特定手势)；和/或(2)检测到用户的凝视指向助理设备，所述助理设备用于提供自动化助理的自动化助理接口(图形的和/或可听的)。例如，能够响应于检测到特定手势、检测到用户的凝视指向助理设备达至少阈值时间量、以及任选地用户的特定手势和定向凝视同时发生或者在彼此的阈值时间接近度内发生，而调用先前休眠的功能。

背景技术

人类可以参与与在本文中称为“自动化助理”(也称为“数字代理”、“交互式个人助理”、“智能个人助理”、“助理应用”、“谈话代理”等)的交互式软件应用的人机对话。例如，人类(其在他们与自动化助理交互时可以被称为“用户”)可以使用口头自然语言输入(即，话语)和/或通过提供文本(例如，键入的)自然语言输入来向自动化助理提供命令和/或请求，该口头自然语言输入在一些情况下可以被转换成文本然后处理。自动化助理通过提供响应用户接口输出来对请求做出响应，该响应用户接口输出能够包括可听的和/或可视的用户接口输出。

如以上所提及的，许多自动化助理被配置成经由口头话语与之交互。为了保护用户隐私和/或保存资源，用户必须常常在自动化助理将完全处理口头话语之前显式地调用所述自动化助理。对自动化助理的显式调用通常响应于在客户端设备处接收到某些用户接口输入而发生。所述客户端设备包括助理接口，该助理接口向所述客户端设备的用户提供用于与所述自动化助理对接的接口(例如，接收来自用户的输入，并且提供可听的响应和/或图形的响应)，而且与实现所述自动化助理的一个或多个附加组件(例如，用于处理用户输入并生成适当响应的远程服务器设备)对接。

能够经由客户端设备调用自动化助理的一些用户接口输入包括在客户端设备处用于调用所述自动化助理的硬件按钮和/或虚拟按钮(例如，轻敲硬件按钮、选择由客户端设备显示的图形接口元素)。能够附加地或替换地响应于一个或多个口头调用短语而调用许多自动化助理，这些口头调用短语也被称为“热门单词/短语”或“触发单词/短语”。例如，能够讲出诸如“Hey Assistant(嘿助理)”、“OK Assistant(好的助理)”和/或“Assistant(助理)”的口头调用短语来调用自动化助理。

发明内容

如以上所提及的，用于促进与自动化助理交互的许多客户端设备—在本文中也称为“助理设备”—使得用户能够参与与自动化助理的无接触交互。例如，助理设备常常包括麦克风，这些麦克风允许用户提供口头话语来调用自动化助理和/或以其它方式与之交互。本文描述的助理设备能够附加地或替换地并入一个或多个视觉组件(例如，相机)、光检测和测距(LIDAR)组件、雷达组件等)，并且/或者与一个或多个视觉组件通信，以促进与自动化助理的无接触交互。

本文公开的实施方式涉及基于对来自一个或多个视觉组件的视觉数据的处理，响应于以下检测而调用自动化助理的一个或多个先前休眠的功能：(1)检测到用户的特定手势(例如，一个或多个“调用手势”中的特定手势)；和/或(2)检测到用户的凝视指向助理设备，所述助理设备提供自动化助理的自动化助理接口(图形的和/或可听的)。例如，能够响应于检测到特定手势、检测到用户的凝视指向助理设备达至少阈值时间量、以及任选地用户的特定手势和定向凝视同时发生或者在彼此的阈值时间接近度内(例如，在0.5秒内、在1.0秒或其它阈值时间接近度内)发生，而调用先前休眠的功能。例如，能够响应于检测到特定手势(例如，“竖起大拇指”手势和/或“挥手”手势)以及响应于检测到具有至少0.5秒持续时间并且与特定手势同时发生或者在特定手势的1.0秒内发生的定向凝视，而调用先前休眠的功能。